莱芜车管所网站,中卫网架钢结构,网站中的下拉菜单,淘宝店铺设计文章目录 概述经典算法自回归模型#xff08;Autoregressive model#xff09;变分自编码器#xff08;VAE#xff09;生成对抗网络#xff08;GAN#xff09;扩散模型#xff08;Diffusion model#xff09;总结 应用 概述
深度生成模型是一类使用深度学习技术构建的… 文章目录 概述经典算法自回归模型Autoregressive model变分自编码器VAE生成对抗网络GAN扩散模型Diffusion model总结 应用 概述
深度生成模型是一类使用深度学习技术构建的模型能够在给定一些数据后生成新的、类似的数据。
经典算法
自回归模型Autoregressive model
什么是自回归模型 如果统计模型根据过去的值预测未来值则它是自回归的。 特点 1根据过去的值预测未来的值。 2隐含的假设未来将与过去相似。优点 所需数据不多可以根据自身变量数列来预测。缺点 1必须是自相关且自相关系数是关键。如果小于 0.5则极不准确不宜使用。 2自回归只能适用于预测与自身前期相关的现象即受自身历史因素影响较大的现象对于受社会因素影响较大的现象不宜采用自回归。 这句话本质是说只能用于预测这种情况当前状态与自身历史状态有关且受该影响较大。自回归模型应用 1NLP 生成自回归建模是大型语言模型LLM的重要组成部分。 2图像生成自回归允许深度学习模型通过分析有限的信息来生成图像。 3时间序列预测自回归模型有助于预测时间序列事件的可能性。天气预报和股票等等
变分自编码器VAE
什么是变分自编码器 变分自编码器VAE是基于变分贝叶斯VB推断的生成式网络结构。 传统的自编码器模型主要由两部分构成编码器encoder和解码器decoder。 对于自编码器的详细描述可以看《内容安全复习 10 - 异常检测》。 下面用两张图描述传统自编码器和变分自编码器的区别。 可以看到不同与传统自编码器用一些单值描述特征变分自编码器选择用概率分布的方式。从分布中取接近的值得到的重构输出是类似的。 特点 1以概率的方式描述对潜在空间的观察。 2数据生成方面有巨大价值。优点 1通过编码和解码过程有良好的数据生成能力。 2在统计上具有更好的解释性可提供数据的概率分布。缺点 1生成样本可能较为模糊质量较低。 2设计复杂数学计算增加难度。
生成对抗网络GAN 什么是生成对抗网络 生成对抗网络是一种深度学习架构。该架构训练两个神经网络相互竞争从而从给定的训练数据集生成更真实的新数据。 思想 个人感觉就是 网络1是蓝框负责生成更加逼真的fake图像ta的目的是扰乱网络2是红框负责判别real和faketa的目的是防止扰乱。 理解成一个攻击一个防守。 这两者互相竞争从而进行对抗达到更好的训练结果。 特点 1一个网络通过获取输入数据样本并尽可能对其进行修改来生成新数据。 2另一个网络尝试预测生成的数据输出是否属于原始数据集。 流程步骤 1Step 1生成一个生成器和一个判别器初始化。 2Step 2固定生成器判别器对原始数据集合生成器生成的样本不断打分、更新。 3Step 3固定判别器生成器更新生成新的 fake图像试图欺骗判别器。 目标函数 1 D ( x ) D(x) D(x) 表示判别器认为 x x x 是 real 的概率而 1 − D ( G ( x z ) ) 1-D(G(xz)) 1−D(G(xz)) 表示判别器认为合成样本 G ( z ) G(z) G(z) 是 fake 的概率。 2判别器希望判断 x x x 是 real合成样本 G ( z ) G(z) G(z) 是 fake 的概率最大化生成器反之。简单来说生成模型要最小化判别模型的准确率判别模型要最大化自己的准确率。换句话说我们希望找到一个生成器G它可以生成与真实数据相似的数据同时我们也希望找到一个判别器D可以准确地区分真实数据和生成数据。 3最终理想状态达到一个动态平衡纳什均衡此时 G 生成了和真实样本一样的结果D 再也无法正确判别准确率为 50%。约等于乱猜。 优点 1梯度计算只用到了反向传播不用马尔科夫链。 2训练时不需要对隐变量做推断。 3理论上只要是可微分函数都能用于构建 D 和 G因此能与深度学习结合来学习深度产生式网络。 4G 的更新不是直接取自原样本而是 D 的反传梯度。 缺点 1生成器的分布没有显式的表达。 2训练难度大D 和 G 需要同步。
扩散模型Diffusion model 什么是扩散模型 扩散模型的原理类似给图片去噪通过学习给一张图片去噪的过程来理解有意义的图像是如何生成。 就是模拟扩散从有序到无序的过程训练一个神经网络来逆这个过程从而生成数据。 优点 1高质量的生成。 2强大的容量模型。性能强 3良好的理论基础。 缺点 1计算成本高。 2训练过程复杂。 3样本多样性的局限性。模型可能倾向于生成相似的样本降低了多样性。
总结
生成模型的数据生成过程可以看成是将一个先验分布的采样点 Z 变换成数据分布的采样点 X 的过程下图是各个模型的示意图。
应用
1文本生成。 2图像生成。 3视频生成。 4图像翻译。 5人脸属性编辑。 6图片质量增强。 7药物发现。
