私人找人做网站,wordpress 响应,集图网,wordpress用户中心按钮不弹出如今#xff0c;自动驾驶汽车可以在普通情况下平稳行驶#xff0c;人们普遍认识到#xff0c;真实的传感器模拟将在通过模拟解决剩余的极端情况方面发挥关键作用。为此#xff0c;我们提出了一种基于神经辐射场#xff08;NeRF#xff09;的自动驾驶模拟器。与现有作品相… 如今自动驾驶汽车可以在普通情况下平稳行驶人们普遍认识到真实的传感器模拟将在通过模拟解决剩余的极端情况方面发挥关键作用。为此我们提出了一种基于神经辐射场NeRF的自动驾驶模拟器。与现有作品相比我们的作品具有三个显着特点1实例感知。我们的模拟器使用独立的网络分别对前景实例和背景环境进行建模以便可以单独控制实例的静态例如大小和外观和动态例如轨迹属性。(2)模块化。我们的模拟器允许在不同的 NeRF 相关主干、采样策略、输入模式等之间灵活切换。我们期望这种模块化设计能够促进基于 NeRF 的自动驾驶模拟的学术进步和工业部署。(3)真实感。考虑到最佳的模块选择我们的模拟器设置了新的最先进的照片级真实感结果。我们的模拟器将是开源的而我们的大多数模拟器则不是。 论文地址https://arxiv.org/pdf/2307.15058.pdf github地址https://open-air-sun.github.io/mars/ 核心框架 我们首先计算所待查询的射线 r 和所有可见实例边界框的射线盒交集。对于背景节点我们直接使用选定的场景表示模型和选定的采样器来推断逐点属性就像传统 NeRF 中一样。对于前景节点光线首先被转换为实例帧然后通过前景节点表示进行处理。右所有样本都被组合并渲染为 RGB 图像、深度图和语义。 优化器中的Loss 颜色监督标准的MSE 深度监督直接获取/单目深度估计获得 语义监督跟随着SemanticNeRF并使用一个交叉熵Loss 天空监督引入 BCE 语义正则化来来支持使用天空模型来处理无限远距离处的外观 accum监督最小化背景截断采样的密度和来去除伪影 实验效果 结论与局限性 在本文中我们提出了一个基于 NeRF 的逼真自动驾驶模拟模块化框架。我们的开源框架由一个后台节点和多个前台节点组成能够对复杂的动态场景进行建模。我们通过大量的实验证明了我们框架的有效性。所提出的管道在公共基准上实现了最先进的渲染性能。我们还支持场景表示和采样策略的不同设计选择从而在模拟过程中提供灵活性和多功能性。 局限性。 我们的方法需要数小时的训练并且无法实时渲染。此外我们的方法未能考虑玻璃或其他反射材料上的动态镜面反射效应这可能会导致渲染图像中的伪影。提高模拟效率和视图相关效果将是我们未来的工作。
