企业网站前端模板下载,湖北省网站备案,WordPress小程序论坛,大连哪家科技公司做网站好0. 简介
作为基于视觉感知的基本任务#xff0c;3D占据预测重建了周围环境的3D结构。它为自动驾驶规划和导航提供了详细信息。然而#xff0c;大多数现有方法严重依赖于激光雷达点云来生成占据地面真实性#xff0c;而这在基于视觉的系统中是不可用的。之前我们介绍了《经典…0. 简介
作为基于视觉感知的基本任务3D占据预测重建了周围环境的3D结构。它为自动驾驶规划和导航提供了详细信息。然而大多数现有方法严重依赖于激光雷达点云来生成占据地面真实性而这在基于视觉的系统中是不可用的。之前我们介绍了《经典文献阅读之–RenderOcc(使用2D标签训练多视图3D Occupancy模型)》。这里本文《OccNeRF: Self-Supervised Multi-Camera Occupancy Prediction with Neural Radiance Fields》提出了一种名为OccNeRF的方法用于自监督多相机3D占用预测。该方法通过参数化重建的占用场来表示无限空间并通过神经渲染将占用场转换为多相机深度图。为了提供几何和语义监督该方法利用多帧图像之间的光度一致性进行监督。代码可在Github找到。 图1. OccNeRF概述。为了表示无界场景我们提出了一个参数化坐标将无限空间压缩到有界的占据场。在不使用任何标注标签的情况下我们利用时间光度约束和预训练的开放词汇分割模型提供几何和语义监督。 1. 主要贡献
我们使用2D骨干来提取多摄像头的2D特征。为了节省内存我们直接插值2D特征以获取3D体积特征而不是使用繁重的跨视图注意力。我们设计了特定的采样策略将参数化占用场转换为具有神经渲染的多摄像头深度图。我们利用时间光度损失作为监督信号这在自监督深度估计方法中常用 [21, 22, 46, 82, 89]。为了更好地利用时间线索我们执行多帧光度约束对于语义占用我们提出了三种策略将类名映射到提示词这些提示词被馈送到预训练的开放词汇分割模型 [33, 43]以获取2D语义标签。 2. 概述
图2显示了我们方法的流程。利用多摄像头图像 { I i } i 1 N \{I^i\}^N_{i1} {Ii}i1N作为输入我们首先利用2D主干提取N个摄像头的特征 { X i } i 1 N \{X^i\}^N_{i1} {Xi}i1N。然后将2D特征插值到3D空间利用已知的内参 { K i } i 1 N \{K^i\}^N_{i1} {Ki}i1N和外参 { T i } i 1 N \{T^i\}^N_{i1} {Ti}i1N获得体积特征。正如第3节所讨论的为了表示无界场景我们提出了坐标参数化方法将无限范围缩小到有限的占用区域。进行体积渲染将占用区域转换为多帧深度图由光度损失进行监督。第4节详细介绍了这一部分。最后第5节展示了我们如何使用预训练的开放词汇分割模型获取2D语义标签。 图2. OccNeRF的流程。我们首先使用2D主干网络提取多摄像头特征然后将这些特征提升到3D空间通过插值得到体积特征。参数化的占据场被重建以描述无界场景。为了获得渲染的深度和语义地图我们采用了重新组织的采样策略进行体积渲染。多帧深度受光度损失监督。对于语义预测我们采用了预训练的Grounded-SAM模型并进行提示清理。绿色箭头表示监督信号。 3. 参数化占据场
与之前的研究[78, 86]不同我们需要在自监督设置中考虑无界场景。一方面我们应该保留内部区域的高分辨率例如[-40m, -40m, -1m, 40m, 40m, 5.4m]因为这部分涵盖了大部分感兴趣的区域。另一方面外部区域是必要的但信息较少应该在收缩空间内表示以减少内存消耗。受[3]的启发我们提出了一个具有可调兴趣区域和收缩阈值的变换函数以参数化每个体素网格的坐标 r ( x , y , z ) r (x, y, z) r(x,y,z)。 在这段文字中 r ’ r / r b r’ r/r_b r’r/rb 是输入 r r r的归一化坐标而 f ( r ) ∈ ( − 1 , 1 ) f(r) ∈ (−1, 1) f(r)∈(−1,1)表示归一化参数化坐标。 r b r_b rb是内部区域的边界对于x、y、z方向是不同的。 α ∈ [ 0 , 1 ] α ∈ [0, 1] α∈[0,1]代表参数化空间中感兴趣区域的比例。较高的 α α α表示我们使用更多的空间来描述内部区域。请注意在方程1中当 r r b r r_b rrb时两个函数具有相同的值和梯度。有关推导细节请参考补充材料。 为了从2D视图中获得3D体素特征我们首先在参数化坐标系中为每个体素生成相应的点 P p c [ x p c , y p c , z p c ] T P_{pc} [x_{pc}, y_{pc}, z_{pc}]^T Ppc[xpc,ypc,zpc]T然后将它们映射回到自车坐标系中 然后我们将这些点投影到2D图像特征平面上并使用双线性插值来获取2D特征 在这段文字中proj是将3D点 P P P投影到由相机外参 T T T和内参 K i K_i Ki定义的2D图像平面的函数 ⟨ ⟩ ⟨⟩ ⟨⟩是双线性插值运算符 F i F_i Fi是插值结果。为了简化聚合过程并减少计算成本我们直接对多相机的2D特征进行平均以获得体积特征这与[17, 24]中使用的方法相同。最后我们使用3D卷积网络来提取特征并预测最终的占用输出。
4. 多帧深度估计
为了将占据场投影到多摄像头深度图中我们采用了体积渲染[48]这在基于NeRF的方法中被广泛使用[2, 49, 84]。为了渲染给定像素的深度值我们从摄像机中心 o o o沿着指向像素的方向 d d d发射一条射线。该射线由 v ( t ) o t d v(t) o td v(t)otd表示其中 t ∈ [ t n , t f ] t ∈ [t_n, t_f] t∈[tn,tf]。然后在3D空间中沿着射线采样 L L L个点 { t k } k 1 L \{t_k\}^L_{k1} {tk}k1L以获取密度 σ ( t k ) σ(t_k) σ(tk)。对于所选的 L L L个积分点相应像素的深度通过以下公式计算 在这里 T ( t k ) e x p ( − ∑ k ′ 1 k − 1 σ ( t k ) δ k ) T(t_k) exp(-\sum_{k′1}^{k-1} σ(t_k)δ_k) T(tk)exp(−∑k′1k−1σ(tk)δk)其中 δ k t k 1 − t k δ_k t_{k1} − t_k δktk1−tk是采样点之间的间隔。 一个关键问题是如何在我们提出的坐标系中对 { t k } k 1 L \{t_k\}^L_{k1} {tk}k1L进行采样。在深度空间或视差空间中进行均匀采样将导致参数化网格的内部或外部区域中出现不平衡的点序列这将对优化过程产生不利影响。假设o在坐标系的原点附近我们直接从 U [ 0 , 1 ] U[0, 1] U[0,1]中对参数化坐标进行采样 L ( r ) L(r) L(r)个点并使用方程1的逆函数来计算 { t k } k 1 L ( v ) \{t_k\}^{L(v)}_{k1} {tk}k1L(v)。对于一条射线特定的 L ( v ) L(v) L(v)和 r b ( v ) r_b(v) rb(v)计算如下 在这里 i 、 j 、 k i、j、k i、j、k分别是 x 、 y 、 z x、y、z x、y、z方向的单位向量 l x 、 l y 、 l z l_x、l_y、l_z lx、ly、lz分别是内部区域的长度 d v d_v dv是体素大小。为了更好地适应占据表示我们直接预测渲染权重而不是密度。
传统的监督方法是计算渲染的RGB图像与原始RGB图像之间的差异这在NeRF [49]中被采用。然而我们的实验结果表明这种方法效果不佳。可能的原因是对于NeRF来说大规模场景和少量视图监督很难收敛。为了更好地利用时间信息我们采用了[21, 89]中提出的光度损失。具体来说我们根据渲染的深度和给定的相对姿态将相邻帧投影到当前帧上。然后我们计算投影图像与原始图像之间的重建误差 在这里 “ i ” “i” “i”是指投影图像 β 0.85 β0.85 β0.85。此外我们采用了[21]中介绍的技术即每像素最小重投影损失和自动遮罩静止像素。对于每个摄像头视角我们渲染一个短序列而不是单帧并执行多帧光度损失。
5. 开放词汇语义监督
在这段文本中作者讨论了使用多相机图像的2D语义标签来提供语义3D占用预测的像素级语义监督。这有助于网络捕捉几何一致性和体素之间的空间关系。为了获得2D标签之前的研究将3D激光雷达点投影到图像空间以避免注释密集的3D占用的昂贵成本。然而作者的目标是在完全以视觉为中心的系统中预测语义占用并且仅使用2D数据。为此他们利用了预训练的开放词汇模型GroundedSAM来生成2D语义分割标签。没有任何2D或3D地面真实数据预训练的开放词汇模型使他们能够获得与给定类别名称语义密切匹配的2D标签。这种方法可以轻松扩展到任何数据集使他们的方法高效且具有普适性。
…详情请参照古月居
