网站建设图片编辑,浦口区网站建设,设计logo网站免费奇米,17做网站 一件代发在GAN出现之前#xff0c;使用的更多是MSE#xff0c;PSNR,SSIM来衡量图像相似度#xff0c;同时也使用他们作为损失函数。
但是这些引以为傲的指标#xff0c;有时候也不是那么靠谱#xff1a; MSE对于大的误差更敏感#xff0c;所以结果就是会倾向于收敛到期望附近使用的更多是MSEPSNR,SSIM来衡量图像相似度同时也使用他们作为损失函数。
但是这些引以为傲的指标有时候也不是那么靠谱 MSE对于大的误差更敏感所以结果就是会倾向于收敛到期望附近表现为丢失高频信息。同时根据实验MSE的收敛效果也差于L1 但是只使用L1也有问题现在通常的做法是多种损失混合使用比如MS-SSIML1还有基于DCT的loss。
在目前超分辨率的论文中不使用MSE而使用L1或者Perceptual loss的原因是什么 - 知乎
SRGAN,ESRGAN,Real ESRGAN,一步步演化对比着看才更容易理解。
SRGAN
SRGAN主要从损失函数的角度优化。因为发现一MSE为损失函数时网络会倾向于平均的结果表现在图像上就是过于平滑丢失细节。https://arxiv.org/pdf/1609.04802.pdf SRGAN使用了两个损失函数一个是使用VGG的特征图在特征图上计算欧式距离。第二个损失函数是使用对抗网络中的鉴别器判断当前输出结果是否是真实的HR数据。 ESRGAN
ESRGAN在损失函数上继续优化。特征图损失部分使用的是激活前的而不是激活后的因为激活后的未免太抽象 鉴别器损失部分借鉴relativistic GAN使用相对损失而不是绝对损失。
除了损失函数网络结构方面也是把残差dense net组合成更复杂的RRDB
首先是构建Dense Block卷积越往后接受的通道数越多因为是之前所有的输出和最开始的输入。Dense Block把输出和输入线性组合就是RDB。RRDB就是把三个RDB串起来再把输出和输入做线性组合。组合的时候输出只占0.2.
最终以PSNR和GAN为目标作者训练了两套模型参数对两套参数加权融合可以互补二者的优缺点。 Real ESRGAN
Real ESRGAN主要的贡献是数据对的生成。通过模糊下采样加噪声压缩模拟振铃效应等得到了更接近真实退化的图像对 SRGAN、ESRGAN与Real ESRGAN方法介绍 - 知乎
ESRGAN原理分析和代码解读 - 知乎
超分之ESRGAN官方代码解读_residual-in-residual dense block、-CSDN博客
