协会网站建设方案,wordpress文章排序错误,四川建设教育网官网,遵义公共资源交易中心原文链接#xff1a;https://arxiv.org/abs/2307.10249
1. 引言 目前的一些雷达-相机融合3D目标检测方法进行实例级的融合#xff0c;从相机图像生成3D提案#xff0c;并与雷达点云相关联以修正提案。但这种方法没有在最初阶段使用雷达#xff0c;依赖于相机3D检测器…原文链接https://arxiv.org/abs/2307.10249
1. 引言 目前的一些雷达-相机融合3D目标检测方法进行实例级的融合从相机图像生成3D提案并与雷达点云相关联以修正提案。但这种方法没有在最初阶段使用雷达依赖于相机3D检测器且融合发生在图像视图多模态数据关联可能因为雷达点云的高度模糊性而不精确。 本文提出雷达-相机多级融合RCM-Fusion方法在BEV融合特征。首先会进行特征级融合使用雷达数据指导图像特征变换到BEV下并生成3D边界框。然后使用基于网格点的提案特征融合进行实例级融合以修正提案 对于特征级融合本文设计了雷达指导的BEV查询使用雷达的位置信息将图像特征转换到BEV。然后雷达-相机门控模块加权聚合多模态BEV特征。这种自适应特征聚合模块被整合到Transformer中解码密集的BEV查询特征。对于实例级融合提出提案感知的雷达注意力模块考虑雷达点与3D提案的相关性获取雷达点特征。
2. 相关工作
2.3. 两阶段3D目标检测 基于激光雷达的两阶段3D目标检测器利用提案框内的激光雷达点云来修正提案。可分两种方法第一种方法将与提案相关的一些点视为关键点使用PointNet基于关键点提取特征。第二种方法定义一组虚拟点称为网格点并基于网格点提取特征。本文认为考虑提案内的点云分布是两阶段检测器的关键部分使用网格点方法根据点云分布生成关键点。
3. 方法 网络结构如下图所示。
3.1. 雷达和图像主干 使用ResNet-101和FPN提取多尺度图像特征 F C F_C FC使用PointPillars提取雷达BEV特征图 F R ∈ R H × W × C F_R\in\mathbb{R}^{H\times W\times C} FR∈RH×W×C。
3.2. 雷达指导的BEV编码器 首先使用 F R F_R FR生成雷达指导的BEV查询RGBQ该查询包含雷达的位置信息。然后使用RGBQ将多模态特征转换为增强BEV特征。最后雷达-相机门控RCG根据各模态的信息量进行多模态的门控聚合。 雷达指导的BEV查询本文利用雷达的位置信息使用 F R F_R FR生成BEV查询RGBQ Q R G ∈ R H × W × C Q^{RG}\in\mathbb{R}^{H\times W\times C} QRG∈RH×W×C。具体来说将 F R F_R FR与BEV查询 Q ∈ R H × W × C Q\in\mathbb{R}^{H\times W\times C} Q∈RH×W×C拼接后通过可变形注意力DeformAttn模块生成 Q R G Q^{RG} QRG Q p R G ∑ V ∈ { Q , F R } DeformAttn ( Q p , p , V ) Q_p^{RG}\sum_{V\in\{Q,F_R\}}\text{DeformAttn}(Q_p,p,V) QpRGV∈{Q,FR}∑DeformAttn(Qp,p,V)其中 Q p R G Q_p^{RG} QpRG和 Q p Q_p Qp分别表示BEV像素 p ( x , y ) p(x,y) p(x,y)处的查询。然后 Q p R G Q_p^{RG} QpRG通过空间交叉注意力SCA块生成修正的相机BEV特征 B C B_C BC和修正的雷达BEV特征 B R B_R BR B C SCA C ( Q p R G , F C ) B R SCA R ( Q p R G , F R ) B_C\text{SCA}_C(Q_p^{RG},F_C)\\B_R\text{SCA}_R(Q_p^{RG},F_R) BCSCAC(QpRG,FC)BRSCAR(QpRG,FR)其中SCA是将 Q p R G Q_p^{RG} QpRG投影到模态特征然后进行可变形交叉注意力的操作。 雷达-相机门控通过加权组合融合 B C B_C BC与 B R B_R BR B R C { σ ( Conv C [ B C ; B R ] ) ⊙ B C } ⊕ { σ ( Conv R [ B R ; B C ] ) ⊙ B R } B_{RC}\{\sigma(\text{Conv}_C[B_C;B_R])\odot B_C\}\oplus\{\sigma(\text{Conv}_R[B_R;B_C])\odot B_R\} BRC{σ(ConvC[BC;BR])⊙BC}⊕{σ(ConvR[BR;BC])⊙BR}其中 B R C B_{RC} BRC表示融合BEV特征图 σ ( ⋅ ) \sigma(\cdot) σ(⋅)表示sigmoid函数 ⊙ \odot ⊙、 ⊕ \oplus ⊕和 [ ⋅ ; ⋅ ] [\cdot;\cdot] [⋅;⋅]分别表示按元素乘法、按元素加法和通道拼接。然后 B R C B_{RC} BRC以和基准方案BEVFormer相同的方式通过归一化和前馈网络。重复BEV编码器本节所有内容 L L L次后生成最终的BEV特征图。和BEVFormer相比本文的方法可以生成更精确的BEV特征图特征更集中在真实边界框附近而前者缺少足够的深度信息。
3.3. 雷达网格点修正 提案感知的雷达注意力PRA将3D提案和相关联的雷达点云作为输入使用基于MLP的注意力决定每个点的重要程度。然后使用雷达网格点池化RGPP考虑雷达点的特性和分布采样网格点并将雷达点和多尺度图像的特征聚合到网格点中生成细化特征。细化特征和初始提案特征组合产生最终输出。 提案感知的雷达注意力使用CRAFT中的软极性关联SPA将雷达点与3D提案关联。首先将3D提案和雷达点转换到极坐标系下然后将径向距离和水平角均在一定范围内的雷达点与3D提案关联。但这样会使更多的点与3D提案关联因为该范围比3D提案更大。引入PRA设 b ( c , w , l , h , θ , v pred ) b(\mathbf{c},w,l,h,\theta,\mathbf{v}_\text{pred}) b(c,w,l,h,θ,vpred)表示一个3D提案其中心位置为 c \mathbf{c} c3D尺寸为 ( w , l , h ) (w,l,h) (w,l,h)朝向角为 θ \theta θ速度为 v pred \mathbf{v}_\text{pred} vpred。与 b b b相关联的 K K K个雷达点记为 { r k } k 1 K \{r_k\}_{k1}^K {rk}k1K其中第 k k k个点的位置为 u k ∈ R 3 \mathbf{u}_k\in\mathbb{R}^3 uk∈R3。引入逐点的分数向量 s k s_k sk来决定每个点的重要程度得到被关注的雷达点特征 a k a_k ak s k MLP 2 ( [ MLP 1 ( r k ) ; δ ( c − u k ) ] ) a k Softmax ( s k ) ⊙ MLP 3 ( r k ) s_k\text{MLP}_2([\text{MLP}_1(r_k);\delta(\mathbf{c}-\mathbf{u}_k)])\\a_k\text{Softmax}(s_k)\odot\text{MLP}_3(r_k) skMLP2([MLP1(rk);δ(c−uk)])akSoftmax(sk)⊙MLP3(rk)其中MLP沿通道维度处理 δ ( ⋅ ) \delta(\cdot) δ(⋅)表示位置编码。 雷达网格点池化网格点的位置和数量对基于网格点的修正模块来说是最重要的。考虑到雷达点的位置误差和稀疏程度本文提出RGPP。如上图所示3D提案的速度向量 v pred \mathbf{v}_\text{pred} vpred可分解为切向速度 v tan \mathbf{v}_\text{tan} vtan和径向速度 v rad \mathbf{v}_\text{rad} vrad。对第 k k k个雷达点 r k r_k rk T T T个网格点 { g k t } t 0 T − 1 \{g_k^t\}_{t0}^{T-1} {gkt}t0T−1按如下方式被生成在位置 u k \mathbf{u}_k uk附近 γ { ρ min , ∣ v tan ∣ ≤ ρ min ∣ v tan ∣ , ρ min ∣ v tan ∣ ρ max ρ max , ∣ v tan ∣ ≥ ρ max g k t γ ⋅ ( t T − 1 − 1 2 ) ⋅ v tan ∣ v tan ∣ u k , t 0 , ⋯ , T − 1 \gamma\left\{\begin{matrix} \rho_{\min}, |\mathbf{v}_{\tan}|\leq\rho_{\min}\\ |\mathbf{v}_{\tan}|, \rho_{\min}|\mathbf{v}_{\tan}|\rho_{\max}\\ \rho_{\max}, |\mathbf{v}_{\tan}|\geq\rho_{\max} \end{matrix}\right.\\g_k^t\gamma\cdot \left(\frac{t}{T-1}-\frac{1}{2}\right)\cdot \frac{\mathbf{v}_{\tan}}{|\mathbf{v}_{\tan}|}\mathbf{u}_k, \;\;\; t0,\cdots,T-1 γ⎩ ⎨ ⎧ρmin,∣vtan∣,ρmax,∣vtan∣≤ρminρmin∣vtan∣ρmax∣vtan∣≥ρmaxgktγ⋅(T−1t−21)⋅∣vtan∣vtanuk,t0,⋯,T−1 本文沿速度切向 v tan \mathbf{v}_{\tan} vtan创建网格点这是因为雷达点通常在切向更具噪声。网格点的距离与切向速度 v tan \mathbf{v}_{\tan} vtan的大小相关。这样对该3D提案有 K T KT KT个网格点。然后使用最远点采样选择 M M M个网格点 { g m } m 1 M \{g_m\}_{m1}^M {gm}m1M。 然后使用集合抽象SetAbs编码每个网格点 g m g_m gm周围的雷达点得到雷达点特征 F m pts F_m^\text{pts} Fmpts F m pts SetAbs ( { a k } k 1 K , { r k } k 1 K , g m ) F_m^\text{pts}\text{SetAbs}(\{a_k\}_{k1}^K,\{r_k\}_{k1}^K,g_m) FmptsSetAbs({ak}k1K,{rk}k1K,gm)同时网格点被投影到图像特征图 F C F_C FC上通过双线性采样得到图像特征 F m img F_m^\text{img} Fmimg F m img Bilinear ( F C , proj ( g m ) ) F_m^\text{img}\text{Bilinear}(F_C,\text{proj}(g_m)) FmimgBilinear(FC,proj(gm))其中 proj ( ⋅ ) \text{proj}(\cdot) proj(⋅)表示投影过程。最后按下式获得提案特征 F m obj maxpool ( F m pts ⊕ F m img ) F_m^\text{obj}\text{maxpool}(F_m^\text{pts}\oplus F_m^\text{img}) Fmobjmaxpool(Fmpts⊕Fmimg)上述提案特征会与初始提案特征融合进行3D提案的修正。
3.4. 雷达数据预处理 本文通过降低判断雷达点是否有效的严格性和多帧积累进行自车运动补偿和点运动补偿增加雷达点云的密度。
4. 实验
4.2. 实施细节 图像分支使用FCOS3D的预训练权重雷达分支从头训练。训练时使用类别平衡策略CBGS。
4.3. 数据增广 通过关联雷达点与图像像素使用图像数据增广和BEV数据增广在极坐标下使用GT增广并使用方法增加非空即含雷达点的真实边界框的数量。
4.4. nuScenes数据集上的结果 本文方法的性能能大幅超过基于相机的和基于相机-雷达融合的方法。
4.5. nuScenes验证集上的消融实验 组件分析RGBQ能带来最高的性能提升而RCGRGPP和RPA能带来少量性能提升。 雷达网格点采样的作用与不适用网格点的方法以及常规网格点生成方法相比本文的自适应网格点生成方法的性能最优。常规网格点的生成会受到稀疏雷达的特性影响而导致某些网格点周围不含雷达点从而减少有效网格点的数量。 数据增广图像数据增广和BEV数据增广均能显著增加性能极坐标GT增广能略微增加性能。 雷达点过滤通过适当过滤原始雷达点能带来一定的性能提升。
