网站挂马处理百度快照,深圳机场最新消息今天,wordpress 链接传参数,如何生成自己的网站1. 前言
高斯溅射技术【1】一经推出#xff0c;立刻引起学术界和工业界的广泛关注。相比传统的隐式神经散射场渲染技术#xff0c;高斯溅射依托椭球空间#xff0c;显性地表示多目图像的三维空间关系#xff0c;其计算效率和综合性能均有较大的提升#xff0c;且更容易理…
1. 前言
高斯溅射技术【1】一经推出立刻引起学术界和工业界的广泛关注。相比传统的隐式神经散射场渲染技术高斯溅射依托椭球空间显性地表示多目图像的三维空间关系其计算效率和综合性能均有较大的提升且更容易理解。可以预见未来2年针对高斯溅射的应用研究将会迎来爆炸式发展。通过本篇博文我和大家来一起了解高斯溅射技术希望对有需要的同学提供一点帮助。 2. 简介
高斯溅射3D Guassian Splatting是2023年Siggraph发表的一项创新性技术其基本的思路为利用运动结构恢复SfM【2】从一组多目图像中估计一个显性的稀疏点云。对于该点云中的每一个点构造一个类似散射场的高斯椭球概率预测模型通过神经网络完成学习获得每一个椭球的对应参数进而得到一个类似体像素的离散表示以支持多角度的体渲染和光栅化。
高斯椭球 起初图形学几何表达并不局限于三角面片。基于椭球的三维几何表示一度被工程化例如1994年发售的魔城迷踪ecstatica知乎3D Gaussian Splatting入门 实际的现实世界是离散的面片的位置是确定的即“空白”区域就是没有数据可以用标量0表示有实物的区域或者一个实体表面就是有数据的可以用标量1表示。针对现实世界数据显然是不可微的因为从无到有是一个标量从0到1的跳变。由于不可微导致不能直接套用基于微分的优化方法。而神经散射场技术的成功之处在于针对三维世界建立了一个可微的体渲染方式已解决该问题。简单解释就是对三维世界进行渲染时一个区域是否有物体不是一个非0即1的二值判断而是一个概率的预测。即空间的每一个位置都有一个基于概率的数值。这样从0到1的跳变就转换成了一个连续的概率变换。优点是使渲染或三维表示变得可微缺点是不能准确的确定一个几何结构。由于对整个空间建立体概率预测训练效率较低即使使用了GPU并行加速和类似八叉树的结构优化依然不能获得实时的渲染性能。这时高斯椭球被重新采用。
神经散射场的问题在于无法将概率预测控制在一个可控的区域。高斯椭球提供了一个有效的解决方案该技术将概率预测压缩在一个基于稀疏点云的多个高斯分布中。即每一个概率预测的计算都是以稀疏点云中的一个点为标定一个特定的作用范围作为概率预测的界限。这样体渲染面对的不是全局场景而是椭球限定的一组小区域。全局优化被拆解为一组局部优化对应的计算效率自然会有所提升。高斯溅射技术就是基于上述思路提出以平衡渲染效率和精度。 3. 算法流程 算法输入为一个静态场景的一组多目视图。首先通过SfM技术产生一组稀疏点云。基于该点云的每一个点建立一个3D高斯模型伴随一组参数包括位置协方差矩阵(变换)透明度还有颜色。由于每一个局部的高斯模型对应不同的参数那么这种体渲染是各向异性的具有比较好的灵活性。散射场的颜色对应一个球谐函数的解。在完成优化后高斯模型的对应参数被学习获得体渲染需要的信息被获知即可通过光栅化实现三维渲染的可视化。
可微分的3D高斯溅射 使用一组3D高斯模型来表示几何优点在于不需要精确估计法向量。高斯模型由一个定义在世界坐标系下的满秩3D协方差矩阵Σ由中点定位 上面的高斯模型经由透明度α累加合成。3D高斯是一个事实上的三维表达同时也是一种概率散射场体渲染表示最终通过2D光栅化呈现。协方差矩阵Σ可由缩放矩阵S和旋转矩阵R表示 3D高斯的自适应优化 基于高斯模型高斯溅射的核心技术为对模型内参数的优化以获得一组显性的高斯椭球估计。由于高斯溅射需要考虑从3D到2D的映射错误的几何估计是不可避免的。这时需要在优化过程删除错误的几何估计。作者使用了一个随机梯度下降技术借助标准GPU加速结构实现对高斯模型参数的高效优化。注这里有一部分参数选择的介绍以及当高斯覆盖区域过大而误差显著时需要进行分割的实现细节我并没有搞清楚需要研究代码后再看。
基于高斯的光栅化 高斯溅射的目标是提供任意角度的2D渲染。从一组高斯模型中实现到图像的光栅化是一个需要面对的挑战。作者采用一种基于瓷砖的光栅化(tile-based rasterizer是计算机图形学中的一种渲染技术。它将屏幕划分为小的矩形区域称为瓷砖。每个瓷砖都独立处理以减少冗余计算和内存访问)。首先将屏幕分成16*16个瓷砖基于视锥体区域剔除域外高斯。利用估计的透明度α对瓷砖进行排序并为每一个瓷砖分配一个线程。对于一个像素按照光栅化步骤在视锥体中逐个检索瓷砖结合透明度与颜色确定像素的具体信息。到此整个高斯溅射的核心技术都已经做了简要的介绍。确实是一个非常巧妙且便于理解的体渲染方法。 实验结果 可以看到对场景种的一些细节高斯溅射技术(第二列)能够获得更精确的结果。 参考文献
[1] Kerbl B, Kopanas G, Leimkühler T, et al. 3D Gaussian Splatting for Real-Time Radiance Field Rendering[J]. ACM Transactions on Graphics, 2023, 42(4).
[2] Snavely N, Seitz S M, Szeliski R. Photo tourism: exploring photo collections in 3D[M]. ACM siggraph 2006 papers. 2006: 835-846.
[3] Lassner C, Zollhofer M. Pulsar: Efficient sphere-based neural rendering[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 1440-1449.
