福州外文网站建设,wordpress 主题,营销品牌策划公司,网络优化排名培训中科大、西安交大、南开大学发表在ICCV2023的论文#xff0c;作者里有李重仪老师和中科大的Jie Huang#xff08;ECCV2022的FEC CVPR2022的ENC和CVPR2023的ERL的一作#xff09;喔#xff0c;看来可能是和Jie Huang同一个课题组的#xff0c;而且同样代码是开源的#xf…
中科大、西安交大、南开大学发表在ICCV2023的论文作者里有李重仪老师和中科大的Jie HuangECCV2022的FEC CVPR2022的ENC和CVPR2023的ERL的一作喔看来可能是和Jie Huang同一个课题组的而且同样代码是开源的我很喜欢。文章利用了MAE的encoder来做一些事情提出了一个叫customized unfolding enhancer CUE的方法。从MAE中学了illumination prior 和noise prior两个先验用到了retinex模型中。流程如下图所示 文章用的是如下的常规retinex公式 目标是最小化如下表达式 把限制项2b放到优化式中拉格朗日得到如下表达式 用循环的方式来优化这个目标函数其中L的优化目标如下 用近端梯度下降法从 L k L_k Lk推导出 L k 1 L_{k1} Lk1 其中 p r o x β ρ 2 prox_{\beta\rho_2} proxβρ2是对先验约束 β ρ 2 \beta\rho_2 βρ2的近端梯度下降算子一般用一个网络来拟合。本文用的是如下网络。所以说利用MAE其实就是利用MAE的方法来训练一个encoder来提取特征。文章用cnn做一个encoder decoder的网络然后将输入图像用随机gamma校正进行数据增强后用三通道的max提取illumination maps后切分为不重叠的patch随机mask掉一些patch训练一个对illumination的inpainting模型丢掉decoder剩下的encoder用来放到下图的网络结构中。其实这样搞已经和MAE没多大关系了没有注意力的MAE就是个普通的inpainting模型所以这里其实只是用illumination inpainting任务预训练了一个encoder而已 R模块用的是类似的公式只是网络就简单的得多两层卷积加一层relu N模块也是两层卷积加一层relu 后面就是对估计出来的L进行增强和KinD一样训练的时候先用GT的L的均值除以暗图的L的均值得出一个 ε \varepsilon εconcatenate到L中测试则直接指定一个预设值进一个unet预测增亮后的L同时也要把L R N都送进另一个unet预测修复后的R。修复后的R和增强后的L相乘得到增强结果I。损失函数分为三部分一部分是前面的retinex 分解的损失一部分是增强修复网络的损失还有一部分就是文章第二处用到MAE的noise prior损失。retinex分解损失有三个都是常见的如暗图和亮图的R的距离以及L的平滑损失还有R和L相乘等于原图的重建损失。但有一个mutual consistency 损失好像不怎么见到说是可以在亮度层中保留比较强的边缘而消除比较弱的边缘 增强损失如下也是比较常见 第三部分的损失有点像perceptual loss就是用一个MAE的encoder去求增强结果和GT的特征算距离其中MAE的训练也是自己设计的如下 实验结果如下也就一般而且你一个有监督方法和一堆无监督方法比PSNR就不太正常了吧 评价看起来给人的感觉就是一篇动机仅仅是为了和MAE结合做一个暗图增强的工作发一篇论文。个人观点是做研究应该是发现问题解决问题这篇文章看起来就像是蹭热度发论文。感觉就是大老板一拍脑袋说最近MAE挺火xxx你去结合MAE做一个暗图增强模型来。然后xxx kuakua一顿搞勉强拼出来一个模型实验结果也不是很好就找一堆无监督方法比一比发了篇论文出来。感觉MAE的部分用得就很不自然和一堆无监督方法比PSNR更是奇怪。唉怎么ICCV这么多这样的论文。
