廉政网站建设的意义,北京海淀建设部大院小区,西安制作标书的公司,安徽省两学一做网站Abstract
GNeRF#xff0c;一个结合生成对抗网络(GAN)和神经辐射场(NeRF)重建的框架#xff0c;用于未知甚至随机初始化相机姿态的复杂场景。最近基于 NERF 的进展已经获得了显着的现实新视图合成的普及。然而#xff0c;大多数方法都严重依赖于摄像机姿态的精确估计#…Abstract
GNeRF一个结合生成对抗网络(GAN)和神经辐射场(NeRF)重建的框架用于未知甚至随机初始化相机姿态的复杂场景。最近基于 NERF 的进展已经获得了显着的现实新视图合成的普及。然而大多数方法都严重依赖于摄像机姿态的精确估计而目前很少有方法只能在摄像机轨迹相对较短的大致前向场景中对未知摄像机姿态进行优化且需要对摄像机姿态进行粗略的初始化。与此不同的是GNRF 仅在复杂的由外向内场景中使用随机初始化的姿势。我们提出了一个新的两阶段端到端的框架。第一阶段将 GAN 的应用带入一个新的领域用于共同优化粗相机的姿态和辐射场而第二阶段用额外的光度损耗来改善它们。我们使用一个混合迭代优化方案来克服局部极小值。在各种合成和自然场景上的大量实验证明了 GNeRF 的有效性。更令人印象深刻的是我们的方法在那些重复模式甚至低纹理被认为是极具挑战性的场景中优于基线。
Method
4.1. Pose-free NeRF Estimation无姿势 NRF 估计 作为该方法的初始阶段在 A 阶段我们没有对每幅图像或预先训练的辐射场进行合理的摄像机位姿估计。我们这个阶段的目标是为每个图像预测一个粗略的姿势同时也学习场景的粗略辐射场。 4.2. Regularized Learning Strategy正规化学习策略 提出了一种正则化学习策略(AB. . AB) 通过交错无姿态的 NeRF 估计步骤(A 阶段)和 NeRF 细化步骤(B 阶段)来进一步提高 NeRF 模型和姿态估计的质量。 该策略通过学习反演网络的姿态预测来规范基于梯度下降的模型优化。直观地说通过对 NERF 模型的对抗训练合成的假像和真像之间的区域差距正在缩小 4.3. Training 为了训练产生的辐射场遵循类似 GRAF的贴片采样策略以提高计算和存储效率。具体来说对于 GAN 的训练过程采用动态补丁采样策略如图左下部所示。每个补丁在图像域内采样固定大小为16 × 16但动态尺度和随机偏移。对于姿态优化过程。采用静态补丁采样策略如图左上部所示。在整个图像域内对每个补丁进行均匀采样每个补丁的固定尺寸为64 × 64。这种采样策略使用一个稀疏的补丁来唯一地表示整幅图像并用这个补丁来估计相应的摄像机姿态。我们还在开始时调整相机的固有特性以最大限度地扩大接收范围并逐步增加到原始值以集中精细的细节。在实践中这些策略为 GAN 训练过程的稳定性带来了极大的好处。 4.4. Implementation Details 采用了原始的 NeRF 的网络结构及其分层抽样策略。将粗抽样和重要抽样的抽样点数设置为64。不同的是由于 GAN 训练只能缩小真补丁和假补丁(“粗”和“精”)的分布在分层抽样策略中使用相同的 MLP以确保“粗”和“精”网络的姿态空间是一致的。为了进行公平的比较将 MLP 的维数从原来的256增加到360以保持总体参数不变。鉴别器网络遵循 GRAF 其中应用了特征归一化和权重谱归一化。我们借用视觉变压器网络来构建反转网络其最后一层被修改为输出一个摄像机姿态。我们使用 RMSprop 算法来优化生成器和鉴别器其学习率分别为0.0005和0.0001。对于反演网络和摄像机姿态我们使用 Adam算法学习率分别为0.0001和0.005。
Discussion and Conclusion
讨论方法不依赖于摄像机姿态的初始化但是它需要一个合理的摄像机姿态采样分布。对于不同的数据集依赖于离真实分布不远的摄像机采样分布以减轻辐射场估计的困难。这可以通过自动学习底层姿态采样空间来减轻。将全局外观分布优化(我们的方法)和局部特征匹配(姿态分布估计)相结合以端到端的方式进行外观和几何重建是一个很有前景的方向。这种组合有可能保留我们的能力具有挑战性的情况下并放松到更一般的场景没有准确的分布事先。其次联合优化摄像机姿态和场景表示是一个具有挑战性的任务选择陷入局部最小。虽然在实际数据集中如果相机姿态准确我们可以获得与 NERF 相当的新视图合成质量但是当有足够数量的可靠关键点时我们优化的相机姿态仍然不如 COLMAP 那样准确。这可能是由于我们的反演网络将图像映射到摄像机的位置只能采取有限大小的图像斑块的计算效率。这可以通过重要性抽样来解决。 结论提出了一种基于遗传算法的神经辐射场重建框架 GNeRF该框架能够在摄像机姿态完全未知且场景条件复杂的情况下对摄像机的姿态进行估计。我们的框架是完全可微的和端到端可训练的。具体来说我们的第一阶段使基于 GAN 的联合优化的三维表示和相机姿态我们的混合和迭代方案交错的第一阶段和第二阶段将进一步完善的结果稳健。大量的实验证明了我们方法的有效性。令人印象深刻的是我们的方法已经在那些具有重复模式甚至低纹理的场景上展示了有希望的结果这在以前被认为是极具挑战性的。我们相信我们的方法是一个关键的步骤以更一般的神经场景建模目标使用较少的人为制作的先验。
