银川建网站那家好,四川冠辰网站建设,建站公司电话,网站建设业务知识培训资料StarGAN 使用指南 网络结构多数据集训练使用指南StarGAN v2 论文地址#xff1a;https://arxiv.org/pdf/1711.09020.pdf
我们有猫的图片集、狗的图片集和兔子的图片集。
目标是让猫的图片看起来像狗的图片#xff0c;狗的图片看起来像兔子的图片#xff0c;兔子的图片看起… StarGAN 使用指南 网络结构多数据集训练使用指南StarGAN v2 论文地址https://arxiv.org/pdf/1711.09020.pdf
我们有猫的图片集、狗的图片集和兔子的图片集。
目标是让猫的图片看起来像狗的图片狗的图片看起来像兔子的图片兔子的图片看起来像猫的图片。
这是一个多领域迁移的问题。
如果使用传统 GAN 不能解决多领域迁移的问题只能两个领域的互相转化只能用多个传统 GAN。
那有没有什么方法一个模型就能实现多个域的迁移呢StarGAN。
网络结构
传统 GAN 和 StarGAN在域迁移上差异 传统的域迁移 需要在不同的两个域之间相互进行特征提取这就导致在有 k 个域的情况下需要 k*(k-1) 个生成器。
比如上文的 3 个数据集需要 3*2 个生成器来完成所有可能的域之间的转换。
猫到狗的生成器用于将猫的图片转换为狗的图片猫到兔子的生成器用于将猫的图片转换为兔子的图片狗到猫的生成器用于将狗的图片转换为猫的图片狗到兔子的生成器用于将狗的图片转换为兔子的图片兔子到猫的生成器用于将兔子的图片转换为猫的图片兔子到狗的生成器用于将兔子的图片转换为狗的图片
而 starGAN 则解决了这个问题自始至终只需要一个生成器。
核心思想通过一个域标签向量来控制多个域的转换。
看上图生成器蓝色区域 左一把输入图像Input image、目标域Target domain拼接输入生成器G得到假的图片Fake image 左二再把假图Fake image、原来域Original domain拼接输入生成器G得到重建图像Reconstructed image 循环箭头对比重建图像和原图之间要最小化误差循环这个过程变到目标域再变回源域
判别器红色区域 把假图Fake image、真实图像Real image分别输入判别器 判别器不仅要判断真假还要判断来自哪个域
多数据集训练
假设我们要训练一个模型来识别动物的图片我们有三个数据集猫的图片集、狗的图片集和兔子的图片集。
如果我们只使用单个数据集来训练模型那么模型可能会对其他动物的图片识别能力较弱。
多数据集训练如果我们将三个数据集合并成一个大的数据集并在训练过程中同时使用这三个数据集模型就可以获得更多的样本和不同种类的动物图片从而提高识别能力。 判别器部分 CelebA 是人脸数据集黄色 RaFD 是人脸表情数据集绿色
生成器部分 蓝色框 Mask vector 是掩码向量只选择 CelebA 训练或者 RaFD 训练 黄色框 CelebA 是人脸数据集 绿色框 RaFD 是人脸表情数据集
使用指南
项目代码https://github.com/yunjey/stargan.git
StarGAN v2
