福田网站-建设深圳信科,做网站站长累吗,网站的建设需要考虑什么问题,绍兴网站制作方案定制[paper | proj]
给定FLAME#xff0c;基于每个三角面片中心初始化一个3D Gaussian#xff08;3DGS#xff09;#xff1b;当FLAME mesh被驱动时#xff0c;3DGS根据它的父亲三角面片#xff0c;做平移、旋转和缩放变化#xff1b;3DGS可以视作mesh上的辐射场#xff1…
[paper | proj]
给定FLAME基于每个三角面片中心初始化一个3D Gaussian3DGS当FLAME mesh被驱动时3DGS根据它的父亲三角面片做平移、旋转和缩放变化3DGS可以视作mesh上的辐射场为实现高保真的avatar本文提出一种蒙皮binding继承策略在优化过程中保持蒙皮对3DGS的控制本文贡献如下 提出GaussianAvatars通过将3DGS绑定至FLAME模型实现可驱动的head avatars设计了一种蒙皮继承策略使得在保持蒙皮控制的情况下3DGS的新增和移除。 近期工作
静态场景表征
NeRF用神经网络以辐射场的形式存储场景后续工作将场景表征为voxel grids、使用voxel hashing、或使用tensor decomposition加速渲染PointNeRF使用点云表征场景3D Gaussian Splatting使用各向异性3D Gaussian实现实时渲染和优异的视觉效果Mixture of Volumetric Primitives使用surface-aligned volumes实现高视觉保真度的快速渲染 动态场景表征
Basic Design基于NeRF的方法输入4D坐标x, y, z, t输出密度和颜色。例如K-Plane、4K4D等。这类方法虽然效果不错但是无法显式控制内容Deformation MLP学习静态标定空间通过MLP将其他时间下的空间映射回标准空间Proxy geometryLiu等人 [25] 基于SMPL移动后的最近三角面片将观察空间中的点warp回标定空间Peng等人 [34] 基于SMPL的骨架和神经蒙皮系数neural blending weights变形点前向变形forward deformation[13, 18, 20, 23, 48] 和cage-based deformation [54]不同于上述方法本文将3DGS附着在三角面片上并显式地移动他们避免使用标定空间并可使用mesh finetuning。 头像重建与驱动
Thies等人 [41] 实现了数字人的实时人脸跟踪和面部重现face reenactmentGafni等人 [8] 从单目视频中以表情系数作为控制信号学习NeRFGrassal等人 [10] 向FLAME中添加偏移量增强几何通过基于表情控制的纹理域实现动态纹理IMavatar [51] 基于神经隐式方程学习3D可形变数字人通过iterative root-finding实现标定空间到观察空间的映射HeadNeRF [11] 学习一个基于NeRF的参数化头模INSTA [55] 通过寻找FLAME上最近三角面片将查询点映射回标定空间Zheng [52] 探索了基于点的表征和可导的点渲染方法在标定空间中定义点集学习受FLAME表情系数控制的形变场以驱动数字人AvatarMAV [46] 定义了标定辐射场和运动场不同于INSTA本文在3DGS和三角面片间建立一致性关联。 方法
根据给定的多视角图片和相机参数估计每帧图片中的FLAME参数建立三角面片和3DGS的关系可导渲染得到图片与GT图片算损失用于训练模型在训练过程中通过蒙皮继承策略binding inheritance strategy控制3DGS增删后与三角面片的对应关系。 绑定3DGS与三角面片
给定三角面片本文计算
均值位置给定三角面片的三条边计算对应的均值位置构造旋转矩阵1三角面片的某条边2三角面片的法向向量3与前两者垂直的第三边放缩变量通过三角形中一条边及其垂线的平均长度来计算标量以描述三角面片缩放
对于对应的3DGS在局部空间定义其位置旋转矩阵各向异性缩放系数。
初始化时为局部零点位置为单位旋转矩阵为单位矢量。渲染时将其从局部空间转换为全局空间 本文将三角面片的缩放系数嵌入到公式5和6中使得3DGS的局部位置和缩放与三角面片的缩放相关。这使得全局定义的学习率可以适用于局部。 蒙皮继承策略
稠密对于具有较大view-space positional gradient的3DGS如果该点较大则拆分为两个如果较小则复制一个新的确保新3DGS和旧的足够近这样可以将新点绑定至旧点对应的三角面片剪枝在3DGS原有剪枝的技术上确保每个三角面片具有至少一个3DGS。有些脸部区域眼球常被遮挡很有可能由于剪枝导致眼球部分的3DGS被去掉。 优化和正则
渲染图像损失如下可以保证对已有场景有不错效果但是对新表情和位置效果不佳存在spike和blob伪影 具有阈值的位置损失Position loss with threshold
在蒙皮继承策略中本文通过拆分和复制增加新的3DGS。理想情况下新增的3DGS应该与面片相邻。但是经过优化后无法保证他们相邻。为解决该问题本文引入了位置正则项 确保3DGS和它的父亲三角面片足够近。 具有阈值的放缩损失Scaling loss with threshold
如果某个3DGS相较于它的父亲三角面片更大三角面片的小角度旋转会在3DGS上被放大导致伪影。为解决该问题本文引入了放缩正则项 确保3DGS不会太大。 最终损失 其中和。这两项确保常被遮挡的区域眼球、牙齿可以被保留。 实现细节
Adam位置学习率为5e-3放缩学习率为1.7e-2除了3DGSFLAME的translation、joint rotation和表情系数也会fine-tune学习率分别为1e-61e-5和1e-3。训练600k iters从10k iters之后每2k iters执行3DGS的更新和蒙皮继承策略每60k iters重新设置3DGS的不透明度。 实验
数据集NeRSemble数据集上的9个目标每个目标包含10种表情和16个视角。测试1新视角生成novel-view synthesis2自重演self-reenactment3跨ID重演cross-identity reenactment。
数字人重建 消融实验
