17网站一起做网店潮汕,东莞seo建站优化费用,WordPress usdt收款,陕西省信用建设官方网站本文重点介绍火山引擎多媒体实验室三维重建技术在动态、静态场景的以及结合先进光场重建技术的原理与实践#xff0c;帮助大家能更好的了解和认识云上智能三维重建如何服务智能驾驶领域#xff0c;助力行业发展。 智能驾驶技术的不断发展#xff0c;正在改变着我们的出行方式…本文重点介绍火山引擎多媒体实验室三维重建技术在动态、静态场景的以及结合先进光场重建技术的原理与实践帮助大家能更好的了解和认识云上智能三维重建如何服务智能驾驶领域助力行业发展。 智能驾驶技术的不断发展正在改变着我们的出行方式和交通系统。作为其中的一个关键技术三维重建在智能驾驶系统中起着重要的作用。除去车端本身的感知、重建算法自动驾驶技术的落地与发展需要庞大的云端重建能力支撑火山引擎多媒体实验室通过行业领先的自研三维重建技术结合强大的云平台资源与能力助力相关技术在云端大规模重建、自动标注、真实感仿真等场景的落地与应用。
本文重点介绍火山引擎多媒体实验室三维重建技术在动态、静态场景的以及结合先进光场重建技术的原理与实践帮助大家能更好的了解和认识云上智能三维重建如何服务智能驾驶领域助力行业发展。
一、技术挑战与难点
驾驶场景重建需要对道路环境做点云级别的三维重建与传统的三维重建技术应用场景相比驾驶场景重建技术有以下难点
车辆运行过程中的环境因素复杂且不可控不同天气、光照、车速、路况等均会对车载传感器采集到的数据造成影响这对重建技术的鲁棒性带来了挑战。道路场景中经常会出现特征退化和纹理缺失的情况例如相机获取到视觉特征不丰富的图像信息或者激光雷达获取到相似性较高的场景结构信息同时路面作为重建中的关键要素之一色彩单一且缺少足够的纹理信息这对重建技术提出了更高的要求。车载传感器数量较多常见的有相机、激光雷达、毫米波雷达、惯导、GPS定位系统、轮速计等等如何将多传感器的数据融合起来得到更精确的重建结果对重建技术提出了挑战。道路中存在运动车辆、非机动车、行人等动态物体会对传统重建算法带来挑战如何剔除动态物体对静态场景重建带来干扰同时对动态物体的位置、大小、速度进行估计也是项目的难点之一。
二、驾驶场景重建技术介绍
自动驾驶领域的重建算法通常会采用激光雷达、相机为主GPS、惯导为辅的技术路线。激光雷达可以直接获取高精度的测距信息能够快速得到场景结构通过预先进行的激光雷达-相机联合标定相机获取到的图像能够为激光点云赋予色彩、语义等信息。同时GPS和惯导可以进行辅助定位减少重建过程中因为特征退化而出现的漂移现象。但是由于多线激光雷达售价较高通常用于工程车辆而在量产车上很难得到规模化的使用。
对此火山引擎多媒体实验室自研了一套纯视觉的驾驶场景重建技术包括静态场景重建、动态物体重建和神经辐射场重建技术能够区分场景中的动静态物体还原出静态场景的稠密点云并突出路面、指示牌、红绿灯等关键要素能够对场景中运动物体的位置、大小、朝向和速度进行有效的估计用于后续的4D标注能够在静态场景重建的基础上使用神经辐射场对场景进行重建和复现实现自由视角的漫游可用于场景编辑和仿真渲染。这套技术解决方案不依赖激光雷达且能够达到分米级的相对误差用最小的硬件成本实现接近激光雷达的重建效果。
2.1 静态场景重建技术剔除动态干扰、还原静态场景
视觉重建技术以多视角几何作为基础的理论依据要求待重建的场景或者物体具有帧间一致性即在不同图像帧中处在静止状态因此需要在重建过程中剔除动态物体。根据场景中的不同要素的重要性稠密点云中需要去除无关紧要的点云而保留一些关键要素点云因此需要事先对图像进行语义分割。对此 火山引擎 多媒体实验室结合AI技术与多视角几何基本原理搭建了一套先进的鲁棒、精确完整视觉重建算法框架。重建过程包括三个关键步骤 图像预处理、稀疏重建和稠密重建 。 车载相机拍摄过程中处在运动状态由于曝光时间的存在采集到的图像中会随着车速提高而出现严重的运动模糊现象。另外出于节约带宽和存储空间考虑传输过程中会对图像进行不可逆的有损压缩造成画质的进一步降低。为此 火山引擎多媒体实验室使用了端到端的神经网络对图像进行去模糊处理能够在抑制运动模糊现象的同时对图像质量进行提升。去模糊前后的对比如下图所示。 去模糊前左 去模糊后右
为了区分出动态物体火山引擎多媒体实验室使用了基于光流的动态物体识别技术能够得到像素级别的动态物体掩膜。在之后的静态场景重建过程中落在动态物区域上的特征点将被剔除只有静态的场景和物体将得到保留。 光流左 运动物体右
稀疏重建过程中需要同时计算相机的位置、朝向和场景点云常用的有SLAM算法Simultaneous localization and mapping和SFM算法Structure from Motion简称SfM。在不要求实时性的情况下SFM算法能够得到更高的重建精度。但是传统的SFM算法通常将每个相机当作独立相机来进行处理而车辆上通常会在前后左右不同方向布置多个相机这些相机之间的相对位置其实是固定不变的忽略车辆振动带来的细微变化。如果忽视相机与相机之间的相对位置约束计算出来的各相机位姿误差会比较大。另外当遮挡比较严重时个别相机的位姿会难以计算。对此火山引擎多媒体实验室自研了基于相机组整体的SFM算法能够利用相机之间的先验相对位姿约束以相机组作为整体来计算位姿同时使用了GPS加惯导的融合定位结果对相机组中心位置进行约束可有效地提高位姿估计的成功率和准确率并能改善不同相机之间的点云不一致现象减少点云分层现象。 传统SFM左 相机组SFM右
由于地面色彩单一、纹理缺失传统的视觉重建很难还原出完整的地面但是地面上存在车道线、箭头、文字/标识等关键要素因此火山引擎多媒体实验室采用了二次曲面来拟合地面辅助进行地面区域的深度估计和点云融合。和平面拟合相比二次曲面更贴合实际道路场景因为实际的路面往往并不是一个理想平面。以下是分别用平面方程和二次曲面方程来拟合地面的效果对比。 平面方程左 二次曲面方程右
将激光点云视作真值并将视觉重建结果与之叠加可以直观地衡量重建点云的准确性。从下图中可以看到重建点云和真值点云贴合度非常高经过测量得到重建结果的相对误差在15cm左右。 火山引擎多媒体实验室重建结果彩色与真值点云白色
以下是火山引擎多媒体实验室视觉重建算法和某主流商业重建软件的效果对比。可以看到和商业软件相比火山引擎多媒体实验室的自研算法重建效果更好、更完整场景中的路牌、红绿灯、电线杆以及路面上车道线、箭头等还原度非常高而商业软件的重建点云非常稀疏且路面大范围缺失。 某主流商业软件左 火山引擎多媒体实验室算法右
2.2 动态重建技术
在图像上对物体进行3d标注十分困难需要借助于点云当车辆只有视觉传感器时获取场景中目标物体的完整点云十分困难。特别是动态物体无法使用传统的三维重建技术获取其稠密点云。为提供运动物体的表达服务于4d标注使用3d bounding box以下简称3d bbox对动态物体进行表示通过自研动态重建算法获取每一时刻场景中动态物体的3d bbox姿态、大小、速度等从而补全动态物体重建能力。 动态重建pipeline
对车辆采集的每一帧图像首先提取场景中的动态目标生成3d bbox的初始提议提供两种方式使用2d目标检测通过相机位姿估计对应的3d bbox直接使用3d目标检测。两种方式针对不同数据可以灵活进行选择2d检测泛化性好3d检测可以获得更好的初值。同时对图像动态区域内部的特征点进行提取。获取单帧图像初始3d bbox提议及特征点后建立多帧间数据关联通过自研多目标跟踪算法建立物体匹配并通过特征匹配技术对图像特征进行匹配。获取匹配关系后将有共视关系的图像帧创建为局部地图构建优化问题求解全局一致的目标bbox估计。具体地通过特征点的匹配以及动态三角化技术恢复动态3d点对车辆运动建模联合优化物体、3d点、相机之间的观测从而获得最优估计的动态物体3d bbox。 2d生成3d左二 3d目标检测示例
2.3 NeRF 重建真实感渲染、自由视角
使用神经网络进行隐式重建利用可微渲染模型从已有视图中学习如何渲染新视角下的图像从而实现照片级逼真的图像渲染 即神经辐射场NeRF技术。同时隐式重建具有可编辑、查询连续空间的特性可以用于自动驾驶场景中自动标注、仿真数据构建等任务。使用NeRF技术对场景进行重建是非常有价值的。 火山引擎多媒体实验室融合神经辐射场技术与大场景建模技术。在具体实践中首先针对数据进行处理场景中的动态物体会使NeRF重建出现伪影借助自研动静态分割、影子检测等算法对场景中和几何不一致的区域进行提取生成mask同时利用视频inpainting算法对剔除掉的区域进行修复。借助自研三维重建能力对场景进行高精度的几何重建包括相机参数估计以及稀疏、稠密点云生成。另外对场景进行拆分以减小单次训练资源消耗并可做分布式训练、维护。在神经辐射场训练过程中针对室外无边界大场景团队通过一些优化策略以提升该场景下的新视角生成效果如通过在训练中同时优化位姿提高重建精度基于哈希编码的层次化表达提升模型训练速度借助外观编码提升不同时间采集场景的外观一致性等借助mvs稠密深度信息提升几何精度等。团队同毫末智行合作完成单路采集以及多路合并的NeRF重建相关成果已在毫末AI Day发布。 动态物/影子剔除填补
