静安微信手机网站制作,微信端微网站怎么做,百色app开发公司,什么叫网站前台VAE
VAE(Variational AutoEncoder)#xff0c;变分自编码器#xff0c;是一种无监督学习算法#xff0c;被用于压缩、特征提取和生成式任务。相比于GAN(Generative Adversarial Network)#xff0c;VAE在数学上有着更加良好的性质#xff0c;有利于理论的分析和实现。 文…VAE
VAE(Variational AutoEncoder)变分自编码器是一种无监督学习算法被用于压缩、特征提取和生成式任务。相比于GAN(Generative Adversarial Network)VAE在数学上有着更加良好的性质有利于理论的分析和实现。 文章目录 VAE1 生成式模型的目标——KL散度和最大化似然MLE2 从AE到VAE3 VAE的损失函数4 结语 1 生成式模型的目标——KL散度和最大化似然MLE
生成式模型(Generative Model)的目标是学习一个模型从一个简单的分布 p ( x ) p(x) p(x)中采样出数据 x x x通过生成模型 f ( x ) f(x) f(x)来逼近真实数据的分布 p d a t a ( x ) p_{data}(x) pdata(x)并生成样本实现了上面这一点即使我们所希望的结果。 自然我们可以想到生成模型最本质的目标就是最小化模型生成的样本分布 p θ ( x ) p_{\theta}(x) pθ(x)和真实样本分布 p d a t a ( x ) p_{data}(x) pdata(x)之间的KL散度 a r g m i n θ D K L ( p d a t a ( x ) ∣ ∣ p θ ( x ) ) a r g m i n θ ∫ p d a t a ( x ) l o g p d a t a ( x ) p θ ( x ) a r g m a x θ ∫ p d a t a ( x ) l o g p θ ( x ) 【 p d a t a ( x ) 无参数优化】 a r g m a x θ E x ∼ p d a t a ( x ) [ log p θ ( x ) ] 【期望的定义】 ≈ a r g m a x θ 1 m ∑ i 1 m log p θ ( x i ) 【从数据集中采样 m 个估算期望对应于训练过程】 a r g m a x θ ∏ i 1 m p θ ( x i ) 【最大化似然】 \begin{align} \mathop{argmin}\limits_{\theta} \;D_{KL}(\,p_{data}(x)\,||\,p_{\theta}(x)\,) \nonumber \\\mathop{argmin}\limits_{\theta} \int p_{data}(x)\;log\,\frac{p_{data}(x)}{p_{\theta}(x)} \nonumber \\\mathop{argmax}\limits_{\theta} \int p_{data}(x)\;log\,{p_{\theta}(x)} \qquad\, 【p_{data}(x)无参数优化】\nonumber \\\mathop{argmax}\limits_{\theta}E_{x\sim p_{data}(x)}\left[\log{p_{\theta}(x)}\right] \qquad \, 【期望的定义】\nonumber \\\approx\mathop{argmax}\limits_{\theta}\frac{1}{m}\sum\limits_{i1}^{m}\log{p_{\theta}(x_{i})} \qquad \quad \;\; 【从数据集中采样m个估算期望对应于训练过程】\nonumber \\\mathop{argmax}\limits_{\theta} \prod\limits_{i1}^{m}p_{\theta}(x_{i}) \qquad \qquad \qquad \;\,【最大化似然】\nonumber \end{align} ≈θargminDKL(pdata(x)∣∣pθ(x))θargmin∫pdata(x)logpθ(x)pdata(x)θargmax∫pdata(x)logpθ(x)【pdata(x)无参数优化】θargmaxEx∼pdata(x)[logpθ(x)]【期望的定义】θargmaxm1i1∑mlogpθ(xi)【从数据集中采样m个估算期望对应于训练过程】θargmaxi1∏mpθ(xi)【最大化似然】
2 从AE到VAE
显然上述的生成式模型并不专门针对VAE任何一个输出和输入相同分布的模型都可以得到此结论那么不得不提的就是AE(AutoEncoder)诸如MAE、DAE、VQVAE等。 AE的目标是最小化重构误差即重构误差越小则表示模型生成的数据和真实数据的分布越接近和上述描述的生成式模型目标一致但AE之所以不能用于生成式模型是因为AE的Bottleneck的分布实际上是未知的我们无法凭空采样一个符合bottleneck分布的数据所以AE不能直接用于生成式模型。 AE和VAE实际上都可以被视为一个隐变量模型 p ( x ∣ z ) p(x|z) p(x∣z)认为在真实数据分布之后存在着一个隐变量 z z z其分布为 p ( z ) p(z) p(z) x x x和 z z z之间存在一个隐变量连接即 p ϕ ( x ∣ z ) p_{\phi}(x|z) pϕ(x∣z)。 例如可以将所有的矩形视为一个真实分布 p ( x ) p(x) p(x)而所有的长和宽的分布视为 p ( z ) p(z) p(z)那么显然当我们从 p ( z ) p(z) p(z)采样一个长宽 z 即 z ∼ p ( z ) z即z \sim p(z) z即z∼p(z)时事实上也采样到了一个矩形这是因为我们认为存在明确的 p ϕ ( x ∣ z ) p_{\phi}(x|z) pϕ(x∣z)即矩形的宽和高和矩形的分布存在一个连接。 在AE中 z z z是bottleneck特征向量很好地表征了原始数据的特征因此可以利用Decoder即 p θ ( x ∣ z ) p_{\theta}(x|z) pθ(x∣z)进行复原理论上如果我们可以采样到 z z z那么就可以进行复原但事实上我们不知道 z z z的分布因此我们无法用AE进行生成式。 而在VAE中我们希望通过Encoder的学习将真实的后验分布 p ϕ ( z ∣ x ) p_{\phi}(z|x) pϕ(z∣x)进行近似即 p θ ( z ∣ x ) p_{\theta}(z|x) pθ(z∣x)并且希望后验分布 p ϕ ( z ∣ x ) p_{\phi}(z|x) pϕ(z∣x)服从于正态分布 N ( 0 , I ) N(0,I) N(0,I)这样的话在优化足够好的Encoder即 p θ ( z ∣ x ) ≈ N ( 0 , I ) p_{\theta}(z|x) \approx N(0,I) pθ(z∣x)≈N(0,I)时我们有 p ( z ) ∫ p ϕ ( z ∣ x ) p ( x ) d x ∫ p θ ( z ∣ x ) p ( x ) d x ∫ N ( 0 , I ) p ( x ) d x N ( 0 , I ) ∫ p ( x ) d x N ( 0 , I ) \begin{align} p(z)\int p_{\phi}(z|x)p(x)\,dx\int p_{\theta}(z|x)p(x)\,dx\nonumber\\\int N(0,I)p(x)\,dxN(0,I)\int p(x)dxN(0,I)\nonumber \end{align} p(z)∫pϕ(z∣x)p(x)dx∫pθ(z∣x)p(x)dx∫N(0,I)p(x)dxN(0,I)∫p(x)dxN(0,I) 这样的话我们就可以轻松地从正态分布中采样 z ∼ p ( z ) z\sim p(z) z∼p(z)为此我们必须考虑对“AE的bottleneck”进行修改从而让 p θ ( z ∣ x ) p_{\theta}(z|x) pθ(z∣x)的分布近似于 N ( 0 , I ) N(0,I) N(0,I)这也是为什么VAE输出的是正态分布的参数 μ , σ 2 \mu,\sigma^2 μ,σ2。 理论上我们通过重参数技巧 x μ σ ϵ , ϵ ∼ N ( 0 , I ) x\mu\sigma\,\epsilon,\epsilon \sim N(0,I) xμσϵ,ϵ∼N(0,I)即可实现输出为 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)且将采样这一不可导的操作转为可导。 若是不对编码器 p θ ( z ∣ x ) p_{\theta}(z|x) pθ(z∣x)加以限制只使用MSE进行训练VAE会逐渐退化为AE因为网络一定会倾向于将 σ 2 → 0 \sigma^2 \rightarrow 0 σ2→0,因为这最有利于重建那么我们最直接的想法就是使用另外2个MSE强迫 μ → 0 , σ 2 → I \mu \rightarrow 0,\,\sigma^2\rightarrow I μ→0,σ2→I但这样3个MSE之间的比例就会十分难以调整容易顾此失彼因此我们继续从MLE出发继续推导VAE的损失函数。
3 VAE的损失函数
承接第一节我们已经确认了生成式网络的最终目标就是最大化 p θ ( x ) p_{\theta}(x) pθ(x)的似然而正如常识所知直接最大化 p θ ( x ) p_{\theta}(x) pθ(x)太过困难我们采用隐变量模型建构那么公式如下: l o g p θ ( x ) l o g p θ ( x ) ∫ p ϕ ( z ∣ x ) d z ∫ p ϕ ( z ∣ x ) l o g p θ ( x ) d z ∫ p ϕ ( z ∣ x ) l o g p θ ( x , z ) p θ ( z ∣ x ) d z 【条件概率的定义】 ∫ p ϕ ( z ∣ x ) l o g p θ ( x , z ) p ϕ ( z ∣ x ) p θ ( z ∣ x ) p ϕ ( z ∣ x ) d z ∫ p ϕ ( z ∣ x ) l o g p θ ( x , z ) p ϕ ( z ∣ x ) d z ∫ p ϕ ( z ∣ x ) l o g p ϕ ( z ∣ x ) p θ ( z ∣ x ) d z E z ∼ p ϕ ( z ∣ x ) [ l o g p θ ( x , z ) p ϕ ( z ∣ x ) ] D K L ( p ϕ ( z ∣ x ) ∣ ∣ p θ ( z ∣ x ) ) ≥ E z ∼ p ϕ ( z ∣ x ) [ l o g p θ ( x , z ) p ϕ ( z ∣ x ) ] 【 K L 散度 ≥ 0 可利用 − l n x ≥ 1 − x 证明】 \begin{align} log p_{\theta}(x)log p_{\theta}(x) \int p_{\phi}(z|x)\,dz\nonumber \\\int p_{\phi}(z|x)\,log p_{\theta}(x)\,dz\nonumber \\\int p_{\phi}(z|x)\,log \frac{p_{\theta}(x,z)}{p_{\theta}(z|x)}\,dz\quad【条件概率的定义】\nonumber \\\int p_{\phi}(z|x)\,log \frac{p_{\theta}(x,z)\,p_{\phi}(z|x)}{p_{\theta}(z|x)\,p_{\phi}(z|x)}\,dz\nonumber \\\int p_{\phi}(z|x)\,log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}\,dz\int p_{\phi}(z|x)\,log \frac{p_{\phi}(z|x)}{p_{\theta}(z|x)}\,dz\nonumber \\E_{z\sim p_{\phi}(z|x)}[log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}]D_{KL}(\,p_{\phi}(z|x)\,||\,p_{\theta}(z|x)\,)\nonumber \\ \ge E_{z\sim p_{\phi}(z|x)}[log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}]\qquad\;【KL散度\ge0可利用-lnx \ge 1-x证明】\nonumber \end{align} logpθ(x)logpθ(x)∫pϕ(z∣x)dz∫pϕ(z∣x)logpθ(x)dz∫pϕ(z∣x)logpθ(z∣x)pθ(x,z)dz【条件概率的定义】∫pϕ(z∣x)logpθ(z∣x)pϕ(z∣x)pθ(x,z)pϕ(z∣x)dz∫pϕ(z∣x)logpϕ(z∣x)pθ(x,z)dz∫pϕ(z∣x)logpθ(z∣x)pϕ(z∣x)dzEz∼pϕ(z∣x)[logpϕ(z∣x)pθ(x,z)]DKL(pϕ(z∣x)∣∣pθ(z∣x))≥Ez∼pϕ(z∣x)[logpϕ(z∣x)pθ(x,z)]【KL散度≥0可利用−lnx≥1−x证明】 最终我们可认为损失函数为: a r g m a x θ l o g p θ ( x ) a r g m a x θ E z ∼ p ϕ ( z ∣ x ) [ l o g p θ ( x , z ) p ϕ ( z ∣ x ) ] \mathop{argmax}\limits_{\theta}\,log p_{\theta}(x) \nonumber \mathop{argmax}\limits_{\theta} E_{z\sim p_{\phi}(z|x)}[log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}]\nonumber θargmaxlogpθ(x)θargmaxEz∼pϕ(z∣x)[logpϕ(z∣x)pθ(x,z)] L − E z ∼ p ϕ ( z ∣ x ) [ l o g p θ ( x , z ) p ϕ ( z ∣ x ) ] L -E_{z\sim p_{\phi}(z|x)}[log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}]\nonumber L−Ez∼pϕ(z∣x)[logpϕ(z∣x)pθ(x,z)] 对于上式我们可以有2种理解
最大化 p θ ( x ) p_{\theta}(x) pθ(x)转化为了最大化下界ELBO(Evidence Lower Bound)因此我们只需要去优化 E z ∼ p ϕ ( z ∣ x ) [ l o g p θ ( x , z ) p ϕ ( z ∣ x ) ] E_{z\sim p_{\phi}(z|x)}[log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}] Ez∼pϕ(z∣x)[logpϕ(z∣x)pθ(x,z)] E z ∼ p ϕ ( z ∣ x ) [ l o g p θ ( x , z ) p ϕ ( z ∣ x ) ] l o g p θ ( x ) − D K L ( p ϕ ( z ∣ x ) ∣ ∣ p θ ( z ∣ x ) ) E_{z\sim p_{\phi}(z|x)}[log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}]log p_{\theta}(x)-D_{KL}(\,p_{\phi}(z|x)\,||\,p_{\theta}(z|x)\,) Ez∼pϕ(z∣x)[logpϕ(z∣x)pθ(x,z)]logpθ(x)−DKL(pϕ(z∣x)∣∣pθ(z∣x))最小化损失函数 L L L即最大化 E z ∼ p ϕ ( z ∣ x ) [ l o g p θ ( x , z ) p ϕ ( z ∣ x ) ] E_{z\sim p_{\phi}(z|x)}[log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}] Ez∼pϕ(z∣x)[logpϕ(z∣x)pθ(x,z)]时会最大化似然 l o g p θ ( x ) log p_{\theta}(x) logpθ(x)即让生成图片更真实的同时最小化Encoder建模的 p θ ( z ∣ x ) p_{\theta}(z|x) pθ(z∣x)和真实隐变量后验分布 p ϕ ( z ∣ x ) p_{\phi}(z|x) pϕ(z∣x)之间的KL散度(当然是事实上是二者trade off)
若是我们使得 p θ ( z ∣ x ) → N ( 0 , I ) p_{\theta}(z|x)\rightarrow N(0,I) pθ(z∣x)→N(0,I)即大功告成。于是我们继续分解: E z ∼ p ϕ ( z ∣ x ) [ l o g p θ ( x , z ) p ϕ ( z ∣ x ) ] ∫ p ϕ ( z ∣ x ) l o g p θ ( x , z ) p ϕ ( z ∣ x ) d z ∫ p ϕ ( z ∣ x ) l o g p θ ( x ∣ z ) p ( z ) p ϕ ( z ∣ x ) d z ∫ p ϕ ( z ∣ x ) l o g p θ ( x ∣ z ) d z ∫ p ϕ ( z ∣ x ) l o g p ( z ) p ϕ ( z ∣ x ) d z E z ∼ p ϕ ( z ∣ x ) [ l o g p θ ( x ∣ z ) ] − D K L ( p ϕ ( z ∣ x ) ∣ ∣ p ( z ) ) ≈ E z ∼ p θ ( z ∣ x ) [ l o g p θ ( x ∣ z ) ] − D K L ( p θ ( z ∣ x ) ∣ ∣ p ( z ) ) \begin{align} E_{z\sim p_{\phi}(z|x)}[log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}]\int p_{\phi}(z|x)\,log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}\,dz\nonumber \\\int p_{\phi}(z|x)\,log \frac{p_{\theta}(x|z)\,p(z)}{p_{\phi}(z|x)}\,dz\nonumber \\\int p_{\phi}(z|x)\,log p_{\theta}(x|z)\,dz \int p_{\phi}(z|x)\,log \frac{p(z)}{p_{\phi}(z|x)}\,dz\nonumber \\E_{z\sim p_{\phi}(z|x)}[log p_{\theta}(x|z)]-D_{KL}(\,p_{\phi}(z|x)\,||\,p(z)\,)\nonumber \\ \approx E_{z\sim p_{\theta}(z|x)}[log p_{\theta}(x|z)]-D_{KL}(\,p_{\theta}(z|x)\,||\,p(z)\,)\nonumber \end{align} Ez∼pϕ(z∣x)[logpϕ(z∣x)pθ(x,z)]∫pϕ(z∣x)logpϕ(z∣x)pθ(x,z)dz∫pϕ(z∣x)logpϕ(z∣x)pθ(x∣z)p(z)dz∫pϕ(z∣x)logpθ(x∣z)dz∫pϕ(z∣x)logpϕ(z∣x)p(z)dzEz∼pϕ(z∣x)[logpθ(x∣z)]−DKL(pϕ(z∣x)∣∣p(z))≈Ez∼pθ(z∣x)[logpθ(x∣z)]−DKL(pθ(z∣x)∣∣p(z)) 其中 E z ∼ p θ ( z ∣ x ) [ l o g p θ ( x ∣ z ) ] E_{z\sim p_{\theta}(z|x)}[log p_{\theta}(x|z)] Ez∼pθ(z∣x)[logpθ(x∣z)]为最大似然我们假设最终为正态分布最大似然就完全等价于最小化重建损失MSE 而 D K L ( p θ ( z ∣ x ) ∣ ∣ p ( z ) ) D_{KL}(\,p_{\theta}(z|x)\,||\,p(z)\,) DKL(pθ(z∣x)∣∣p(z))则为正则项用于约束Encoder的输出具体公式如下 D K L ( p θ ( z ∣ x ) ∣ ∣ p ( z ) ) − ∫ p ϕ ( z ∣ x ) l o g p ( z ) p ϕ ( z ∣ x ) d z ∫ p ϕ ( z ∣ x ) [ z 2 2 − l o g 1 2 π − ( z − μ θ ( x ) ) 2 2 σ θ ( x ) 2 l o g 1 2 π σ θ ( x ) 2 ] d z 1 2 ∫ p ϕ ( z ∣ x ) [ z 2 − ( z − μ θ ( x ) σ θ ( x ) ) 2 − l o g σ θ ( x ) 2 ] d z 1 2 [ − 1 μ θ ( x ) 2 σ θ ( x ) 2 − l o g σ θ ( x ) 2 ] 【 E ( z 2 ) μ 2 σ 2 用于解答 z 2 和 ( z − μ σ ) 2 】 \begin{align} D_{KL}(\,p_{\theta}(z|x)\,||\,p(z)\,)-\int p_{\phi}(z|x)\,log \frac{p(z)}{p_{\phi}(z|x)}\,dz\nonumber \\\int p_{\phi}(z|x)\,[\,\frac{z^2}{2}-log\frac{1}{\sqrt{2\pi}}-\frac{(z-\mu_{\theta}(x))^2}{2{\sigma_{\theta}(x)}^2}\,log\frac{1}{\sqrt{2\pi{\sigma_{\theta}(x)}^2}}]dz\nonumber \\\frac{1}{2}\int p_{\phi}(z|x)\,[\,z^2-(\frac{z-\mu_{\theta}(x)}{{\sigma_{\theta}(x)}})^2\,-log{\sigma_{\theta}(x)}^2]dz\nonumber \\\frac{1}{2}[\,-1{\mu_{\theta}(x)}^2{\sigma_{\theta}(x)}^2-log{\sigma_{\theta}(x)}^2\,]\qquad\qquad【E(z^2)\mu^2\sigma^2用于解答z^2和(\frac{z-\mu}{\sigma})^2】\nonumber \end{align} DKL(pθ(z∣x)∣∣p(z))−∫pϕ(z∣x)logpϕ(z∣x)p(z)dz∫pϕ(z∣x)[2z2−log2π 1−2σθ(x)2(z−μθ(x))2log2πσθ(x)2 1]dz21∫pϕ(z∣x)[z2−(σθ(x)z−μθ(x))2−logσθ(x)2]dz21[−1μθ(x)2σθ(x)2−logσθ(x)2]【E(z2)μ2σ2用于解答z2和(σz−μ)2】 综上我们得到了VAE的损失函数如下 L v a e − E z ∼ p ϕ ( z ∣ x ) [ l o g p θ ( x , z ) p ϕ ( z ∣ x ) ] − E z ∼ p θ ( z ∣ x ) [ l o g p θ ( x ∣ z ) ] D K L ( p θ ( z ∣ x ) ∣ ∣ p ( z ) ) M S E ( x , p θ ( x , ϵ ) ) 1 2 [ − 1 μ θ ( x ) 2 σ θ ( x ) 2 − l o g σ θ ( x ) 2 ] \begin{align} L_{vae}-E_{z\sim p_{\phi}(z|x)}[log \frac{p_{\theta}(x,z)}{p_{\phi}(z|x)}]\nonumber \\-E_{z\sim p_{\theta}(z|x)}[log p_{\theta}(x|z)]D_{KL}(\,p_{\theta}(z|x)\,||\,p(z)\,)\nonumber \\MSE(x,p_{\theta}(x,\epsilon))\frac{1}{2}[\,-1{\mu_{\theta}(x)}^2{\sigma_{\theta}(x)}^2-log{\sigma_{\theta}(x)}^2\,]\qquad\nonumber \end{align} Lvae−Ez∼pϕ(z∣x)[logpϕ(z∣x)pθ(x,z)]−Ez∼pθ(z∣x)[logpθ(x∣z)]DKL(pθ(z∣x)∣∣p(z))MSE(x,pθ(x,ϵ))21[−1μθ(x)2σθ(x)2−logσθ(x)2] 具体实现上即是Encoder后接两层Linear分别预测 μ θ ( x ) 和 σ θ ( x ) 2 \mu_{\theta}(x)和\sigma_{\theta}(x)^2 μθ(x)和σθ(x)2然后通过重参数化技巧采样一个 x ′ μ θ ( x ) σ θ ( x ) ϵ x\mu_{\theta}(x)\sigma_{\theta}(x)\,\epsilon x′μθ(x)σθ(x)ϵ输入Decoder重建x当然在细节上我们可以选择预测 l o g σ θ ( x ) 2 log\,\sigma_{\theta}(x)^2 logσθ(x)2从而避免了网络输出为负的情况。
4 结语
现在准备开始写Diffusion Model的博客算是一个总结也算是对学习知识的回顾学到现在真的得到了太多人博客的帮忙希望自己也能成其中的一员。 Reference: 苏剑林.《变分自编码器一原来是这么一回事》 苗思奇.《机器学习方法—优雅的模型一变分自编码器VAE》
