手机如何创网站,wordpress模板在哪个文件夹,网站开发登录要做哪些验证,怎么制作公众号小程序扩散模型DDPM 文章目录 扩散模型DDPM如何运作基本概念训练过程推理过程#xff1a; 目标损失函数推导评估标准 论文地址#xff1a;
Denoising Diffusion Probabilistic Models (DDPM) 如何运作
从guassian distribution进行采样得到一个噪声的图片#xff0c;图片大小…扩散模型DDPM 文章目录 扩散模型DDPM如何运作基本概念训练过程推理过程 目标损失函数推导评估标准 论文地址
Denoising Diffusion Probabilistic Models (DDPM) 如何运作
从guassian distribution进行采样得到一个噪声的图片图片大小与想输出的图像一致接着通过一系列的Denoise得到最终输出的图片。 为了让模型运行更好针对不同噪声图片我们都会进行一个编码代表当前noise的程度对step步数也进行输入。因为如果不进行次数编码对于不同噪声图片图片差异很大通过同一个模型其处理效果可能就不是那么友好。 Denoise通过Noise Predicter去预测输入的图片中噪声是什么样的然后进行相减就能得到输出图片。
预测噪声长什么样而不是直接生成图片 训练数据来自于前向加噪声的过程自己添加噪声和已知的step加到原始图片就能生成一个带噪声的图片反过来看就是生成了训练数据了。 基本概念 训练过程 通过 α t ˉ \bar{\alpha_t} αtˉ吧决定噪声权重一次性加上而不是一次次递推加.
推理过程
最后新增加了噪声才输出生成的图片。 目标
极大似然估计根据目标的estimation生成的estimation与标准的estimation衡量 想让产生的 P θ ( x i ) P_\theta(x^i) Pθ(xi)越大越好 θ ∗ arg max θ ∏ i 1 m P θ ( x i ) \theta^*\arg \max_\theta \prod_{i1}^mP_\theta(x^i) θ∗argθmaxi1∏mPθ(xi)
$$ \begin{aligned} \mathsf{Sample}\left{x{1},x{2},\ldots,x^{m}\right}\mathsf{from}P_{data}(x) \ \theta{*}arg\max_{\theta}\prod_{i1}{m}P_{\theta}(x{i})arg\max_{\theta}log\prod_{i1}{m}P_{\theta}(x^{i}) \ arg\max_{\theta}\sum_{i1}{m}logP_{\theta}\bigl(x{i}\bigr)\approx arg\max_{\theta}E_{x\sim P_{data}}\bigl[logP_{\theta}(x)\bigr] \
\end{aligned} KaTeX parse error: Cant use function $ in math mode at position 4: 由于$̲\int\limits_{x}… arg\max_{\theta}\int\limits_{x}P_{data}(x)logP_{\theta}(x)dx\quad{\color{Red}-\int\limits_{x}P_{data}(x)logP_{data}(x)dx}\ arg\max\limits_{\theta}\int\limits_{x}P_{data}(x)log\frac{P_{\theta}(x)}{P_{data}(x)}dxarg\min\limits_{\theta}KL(P_{data}||P_{\theta}) \ \text{Maximum LikelihoodMinimize KL Divergence} $$
第一个 P ( x T ) P(x_T) P(xT)是直接在原图进行采样的不需要使用到 θ \theta θ
损失函数推导 kl散度没关系 P ( x T ) q ( x T ∣ x 0 ) P(x_T)q(x_T|x_0) P(xT)q(xT∣x0)两项一项是自己找噪声图片概率一个是前向process自己定义的可以拿走 让x(t)丢进去希望输出的尽可能接近左边的mean 为什么加noise经过实验如果不加noise什么都生成不了加入了能生成。 评估标准
