单位建设网站用途,易居做网站,网站建设人员需求,哈尔滨网站建设VoxelNext 通用检测器 vs VoxelNext一、3D稀疏卷积模块1.1、额外的两次下采样消融实验结果代码 1.2、稀疏体素删减消融实验#xff1a;代码 二、稀疏体素高度压缩代码 三、稀疏预测head 通用检测器 vs VoxelNext 一、3D稀疏卷积模块
1.1、额外的两次下采样
使用通用的3D spa… VoxelNext 通用检测器 vs VoxelNext一、3D稀疏卷积模块1.1、额外的两次下采样消融实验结果代码 1.2、稀疏体素删减消融实验代码 二、稀疏体素高度压缩代码 三、稀疏预测head 通用检测器 vs VoxelNext 一、3D稀疏卷积模块
1.1、额外的两次下采样
使用通用的3D sparse conv包含4个stage每个stage穿插常规稀疏卷积和子流形稀疏卷积得到的特征分别为F1、F2、F3、F4。 VoxelNext的backbone在原有的基础上再增加两次下采样分别得到F5F6目的是增大感受野 消融实验结果 从实验结果来看直接使用原始的4stage结构接检测头后精度下降8.9多加两次下采样后精度提升9.5。且从可视化效果来看额外的下采样使感受野确实增大了。 代码 1.2、稀疏体素删减
在backbone的第2个stage开头会有一个下采样Voxelnext在下采样的时候计算体素的重要性根据比例删掉不重要的体素。 重要性判断公式直接计算体素所有通道特征的均值然后经过一个sigmoid输出的sorce作为重要程度。 消融实验 前三次下采样使用删减策略且删减比例为0.5. 代码 DynamicFocalPruningDownsample实现在pruning_block.py中。
二、稀疏体素高度压缩
进入检测head前直接将F4、F5、F6体素压缩合并。 计算公式 代码 三、稀疏预测head
与常规的3D目标检测head不同Voxelnext直接使用稀疏的体素进行预测训练的时候靠近GT中心点的体素作为正样本使用focal loss监督可视化和统计发现用来预测box的voxel不一定在box中心点如下图 统计发现有72.8%的box的query voxel都不在中心点。
推理时使用sparse max pooling 代替NMS具体过程是先对稀疏的Voxel预测一个score再使用稀疏卷积的操作做max pooling只保留max pool kernel里得分最高的voxel。
