山西省建设局网站,wordpress memcache插件,专业订制网站制作,平台类网站开发三维物体生成与编辑
论文地址: Controllable Mesh Generation Through Sparse Latent Point Diffusion Models 背景
数据是目前数字化和AI领域最宝贵的财富之一#xff0c;但是对于目前的开发者来说#xff0c;收集数据都意味着极大的成本。所以建立一个高效的生成模型能极…三维物体生成与编辑
论文地址: Controllable Mesh Generation Through Sparse Latent Point Diffusion Models 背景
数据是目前数字化和AI领域最宝贵的财富之一但是对于目前的开发者来说收集数据都意味着极大的成本。所以建立一个高效的生成模型能极大的提高开发者的效率降低生产成本。
生成模型简单来说就是一个概率模型其学习真实世界的数据分布从而去生成新的数据样本。其中目前主流的图像的生成模型包括stable difussion模型 其原理主要可以分成两个过程
扩散过程: 将原本清晰的数据(可以是声音/图片/点云等)逐步添加高斯噪声直至其最终成为一个完全的高斯噪声逆扩散: 也就是步骤一的反向过程也就是将步骤一得到的高斯噪声逐步重新回溯成清晰的数据 而根据stable diffusion的思想的三维物体生成模型主要也分成了两个流派:
建立一个2D的扩散生模型然后融合成3D模型。eg: Dreamfusion, Magic3D 以及ProlificDreamer等 优点: 无需昂贵的3D数据缺点: 因为是由2D - 3D 数据中间涉及的优化过程十分耗时。初始结构一般是球体所以对一些复杂不规则的3D结构不是十分鲁棒 直接建立一个3D生成模型。 eg: Point-E , LION, Mesh Diffusion 3DGen等 优点: 生成速度快对复杂几何结构更加鲁棒缺点: 需要3D数据做训练
上述这些3D生成模型根据是否需要输入条件分成有条件生成模型 无条件生成模型 这些生成条件可以是文本 或者图片等。但是这些都不能提供使用者对生成的3D模型进行细粒度的微调。 可控三维生成模型
根据前人的工作以及目前的业务需求提出了Controllable Mesh Generation Through Sparse Latent Point Diffusion Models , 其主要目的是可控的细粒度的生成3D模型。其主要的贡献在于:
提供了一个细粒度的可控的3D mesh生成模型提供了一个可供用户交互细粒度改变局部或者全局结构的思想更加快速的生成速度 其整体思路是首先将Mesh下采样选择用稀疏的点云去表达整个Mesh从而提高处理速度。再将采样后的点云通过Encoder的结构 将点云处理成数量一致的sprase latent points再经过Decoder结构后上采样从而实现整个3D生成模型。这样的好处在于这些sprase latent points 更适合与用户交互从而实现细粒度的微调或者说是控制生成的形状 而整个生成的结构是由两个扩散模型构成其中第一个扩散模型是根据经过encoder的sparse latent points去学习其点云的位置第二个是根据第一个扩散模型生成的位置从而去学习其位置上的特征。从而实现整个生成模型结构。可以把整个生成的过程分为以下3步:
利用位置扩散模型去生成sparse latent points的点的位置利用特征扩散模型去生成给定位置下的sparse latent points的特征利用autoencoder去将这些特征和位置decoder后重构一个mesh 结构 最终用户可以根据自己的需要去改变sprase latent points的点的位置或者进行一些形状上的插值从而可以改变整个最终生成结构或者对应的只改变更变点的局部结构。除此之外作者提供了一种融合形状的思维就是将生成的不同物体的sprase latent points的部分点的特征进行融合从而实现整体3D拼接生成结构例如A物体的轮子和B物体的车身拼接成一个整车。 未来方向
提供可变的latent point的点的数量更加灵活更精确的去控制生成结构从生成不同的物体geomertry 到texture生成从单个物体级别的生成到整个场景的生成
