主题资源网站建设反思,网站建设论文 优帮云,厦门市湖里区建设局网站,cctv军事报道5. SDEdit: Guided Image Synthesis and Editing With Stochastic Differential Equations 该文提出一种基于SDE扩散模型的引导图像生成和编辑方法。通过使用者在原图上给出一些引导#xff0c;比如在图像上涂鸦或者增加一个图块#xff0c;甚至可以不给定原图#xff0c;直…5. SDEdit: Guided Image Synthesis and Editing With Stochastic Differential Equations 该文提出一种基于SDE扩散模型的引导图像生成和编辑方法。通过使用者在原图上给出一些引导比如在图像上涂鸦或者增加一个图块甚至可以不给定原图直接纯手工绘制一个涂鸦作为输入模型就能够根据输入的带有引导信息的图像生成对应的结果如下图所示。 生成的过程基本延续了SDE的方法作者在正文中以VE-SDE为例介绍了扩散和采样的过程在附录中给出了VP-SDE的介绍二者本质上是一致的。首先SDEdit对输入的图像 x ( g ) x^{(g)} x(g)按照扩散的过程逐步添加噪声得到干扰后的图像 x ( g ) ( t 0 ) x^{(g)}(t_0) x(g)(t0)然后再对 x ( g ) ( t 0 ) x^{(g)}(t_0) x(g)(t0)按照逆SDE的过程进行逐步的去噪采样最终得到生成结果 x ( 0 ) x(0) x(0)。过程描述和算法流程如下图所示 在SDE中我们通常取 [ 0 , 1 ] [0,1] [0,1]作为连续变量 t t t的取值范围扩散过程中 t : 0 → 1 t:0\rightarrow1 t:0→1生成过程中过程中 t : 1 → 0 t:1\rightarrow0 t:1→0。但在本文中作者发现扩散过程的最终时间和生成过程的开始时间 t 0 t_0 t0不一定要取1可以取 [ 0 , 1 ] [0,1] [0,1]中间的任意一个值。并且随着 t 0 t_0 t0增大生成结果更加真实但与输入引导的一致性变得更差反之随着 t 0 t_0 t0减小生成结果更加接近输入的引导图像但结果不够真实如下图所示 经过实验作者找到一个能够兼顾一致性和真实性的取值区间 t 0 ∈ [ 0.3 , 0.6 ] t_0\in [0.3,0.6] t0∈[0.3,0.6]。作者将SDEdit与其他基于GAN的图像生成和编辑算法进行了对比结果表明SDEdit在多个数据集和多个指标上都超过了现有的最优的方法。
