六安市 网站集约化建设,怎么做百度网盘链接网站,建设企业网页,网络宣传平台有哪些MVSNeRF#xff1a;多视图立体视觉的快速推广辐射场重建 摘要1 引言 摘要
在2021年#xff0c;作者提出了MVSNeRF#xff0c;一种新的神经渲染方法#xff0c;在视图合成中可以有效地重建神经辐射场。与之前对神经辐射场的研究不同#xff0c;我们考虑了对密集捕获的图像… MVSNeRF多视图立体视觉的快速推广辐射场重建 摘要1 引言 摘要
在2021年作者提出了MVSNeRF一种新的神经渲染方法在视图合成中可以有效地重建神经辐射场。与之前对神经辐射场的研究不同我们考虑了对密集捕获的图像进行每场景优化我们提出了一种通用的深度神经网络它可以通过快速网络推理仅从附近的三个输入视图中重建辐射场。我们的方法利用平面扫描代价体广泛应用于多视图立体视觉进行几何感知场景推理并将其与基于物理的体积渲染相结合用于神经辐射场重建。我们在DTU数据集中的真实物体上训练我们的网络并在三个不同的数据集上进行测试以评估其有效性和通用性。我们的方法可以泛化跨场景甚至是室内场景完全不同于我们物体的训练场景并仅使用三个输入图像生成真实的视图合成结果显著优于同时发布的可推广的辐射场重建论文。此外如果捕获密集的图像我们估计的辐射场表示可以很容易地进行微调这导致每个场景可以快速的重建具有更高的渲染质量和更少的优化时间。
1 引言
新视角合成是计算机视觉和图形学中一个长期存在的问题。近年来神经渲染方法显著地推进了这一领域的进展。神经辐射场 Neural Radiance FieldsNeRF及其后续的工作已经可以产生逼真的新视图合成结果。然而这些先前工作的一个显著缺点是它们需要一个很长的每一个场景的优化过程来获得高质量的辐射场这相当昂贵并高度限制了实用性。
我们的目标是让神经场景重建和渲染更加实用。我们提出了MVSNeRF一种新的方法可以很好地推广到仅从几个只有三个非结构化的多视图输入图像中跨场景重建一个辐射场的任务。由于具有很强的通用性我们避免了繁琐的每个场景优化并可以通过快速的网络推理直接在新的视角上回归真实的图像。如果在短时间内5-15 min进一步优化更多图像我们重建的辐射场甚至可以在数小时的优化下优于NeRFs见图1。 我们利用了最近在基于学习的多视点立体视觉MVS上的成功。对于三维重建任务这项工作可以通过对代价体使用用三维卷积来训练可推广的神经网络。我们通过将附近的输入视图由2DCNN推断的二维图像特征变换到参考视图的结果中的扫描平面上在输入参考视图上构建一个代价体。与其它MVS方法只对代价体进行深度推断不同我们的网络对场景几何和外观进行推理并输出一个神经辐射场见图2从而实现视图合成。 具体来说利用3D CNN我们重建从代价体一个神经场景编码体该体积由每个体素的神经特征组成编码关于局部场景几何和外观的信息。然后我们利用多层感知器MLP利用编码体内的三次插值神经特征解码任意连续位置的体积密度和辐射。本质上编码体是辐射场的局部神经表示一旦估计这个体积可以直接使用去掉3D CNN通过可微分射线行进行最终渲染。我们的方法结合了基于学习的MVS和神经渲染。与现有的MVS方法相比我们实现了可微神经渲染允许在不需要三维监督的情况下进行训练和推理时间优化以进一步提高质量。与现有的神经渲染工作相比我们的MVS架构可以很自然地推理相应的交叉视图促进泛化到不可见的测试场景也可以导致更好的神经场景重建和渲染。因此我们的方法可以显著优于最近的发布的可推广的NeRF工作它主要考虑二维图像特征而没有显式的几何感知的三维结构(见表1和图4。 我们证明仅使用3张输入图像我们从DTU数据集训练出来的网络在测试DTU场景时合成逼真的图像甚至可以在其它分布不同的场景数据集上产生合理的结果。此外我们估计的三图像辐射场神经编码体可以更容易地在新的测试场景上进一步优化以改进更多被拍摄图像的神经重建获得了逼真的结果甚至与每个场景的过拟合NeRF相当我们的优化时间比NeRF少见图1。这些实验表明当只有少数图像捕获时我们的技术可以作为一个强有力的重建器可以重建一个辐射场用于真实的视图合成。或者作为一个强初始化器当获得密集图像时可以显著促进每个场景的辐射场优化。我们的方法向现实的神经渲染实际化迈出了重要的一步。
