网站新增一个域名备案,品牌包包都有哪些牌子,包头做网站的,青岛注册公司流程2023年在计算机视觉研究领域#xff0c;NVIDIA常常让人眼前一亮。比如“用Progressive Growing的方式训练 GAN#xff0c;生成超逼真高清图像”#xff0c;“用条件 GAN 进行 2048x1024 分辨率的图像合成和处理”的pix2pixHD项目#xff0c;或者脑洞大开的让晴天下大雨、小猫变狮… 在计算机视觉研究领域NVIDIA常常让人眼前一亮。比如“用Progressive Growing的方式训练 GAN生成超逼真高清图像”“用条件 GAN 进行 2048x1024 分辨率的图像合成和处理”的pix2pixHD项目或者脑洞大开的让晴天下大雨、小猫变狮子、黑夜转白天的“无监督图像翻译网络”Unsupervised Image-to-Image Translation Networks。近日NVIDIA在arXiv放出一篇今年ICLR的论文同样很厉害。论文题为“Image Inpainting for Irregular Holes Using Partial Convolutions”即使用“Partial Convolutions”进行图像修复。先看视频在视频中左侧的操作界面只需用工具将图像中不需要的内容简单涂抹掉哪怕形状很不规则NVIDIA的模型能够将图像“复原”用非常逼真的画面填补被涂抹的空白。可谓是一键P图而且“毫无ps痕迹”。该研究来自Nvidia的Guilin Liu等人的团队他们发布了一种可以编辑图像或重建已损坏图像的深度学习方法即使图像穿了个洞或丢失了像素。这是目前state-of-the-art的方法。该方法还可以通过移除图像中的某些内容并填补移除内容后造成的空白从而实现编辑图像。这个过程叫做“image inpainting”可以在图片编辑软件中实现去除不需要的内容同时用计算机生成的逼真的替代方式填补空白。图被遮盖的图像及使用基于部分卷积的网络得到的修复结果“我们的模型可以很好地处理任何形状、大小、位置或距离图像边界任何距离的空白。以前的深度学习方法主要集中在位于图像中心附近的矩形区域并且通常需要依赖成本很高的后期处理。“英伟达的研究人员在他们的研究报告中写道“此外我们的模型能够很好地处理越来越大的空白区域。”为了训练神经网络研究团队首先生成了55116个随机色条、形状和大小任意的masks用于训练。他们还生成了25000个图像用于测试。为了提高重建图像的精度研究人员根据相对于输入图像的大小将这些训练图像进一步分为6类。图一些用于测试的masks使用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度学习框架该团队通过将生成的mask应用在ImageNet数据集Places2和CelebA-HQ两个数据集的图像训练其神经网络。图ImageNet上的测试结果对比图Place2数据集上的测试结果对比在训练阶段将空白或缺失的部分引入上述数据集的完整训练图像中以使网络能够学习重建缺失的像素。在测试阶段另一批没有在训练期间使用的空白或缺失部分被引入数据集里的测试图像以对重建的图像的精度进行无偏验证。图基于典型卷积层的结果Conv和“部分卷积”层的结果PConv对比研究人员表示现有的基于深度学习的图像修复方法不够好因为丢失像素的输出必然取决于输入的值而这些输入必须提供给神经网络以找出丢失的像素。这就导致图像中出现诸如颜色差异或模糊之类的artifacts。为了解决这个问题NVIDIA团队开发了一种方法确保丢失像素的输出不依赖于为这些像素提供的输入的值。这种方法使用一个“部分卷积”层根据其对相应的接受域receptive field的有效性对每个输出进行重新归一化renormalization。这种重新归一化可以确保输出值与每个接受域中缺失像素的值无关。该模型是利用这些部分卷积实现的UNet架构构建的。使用一组损失函数匹配VGG模型的特征损失以及风格损失进而训练模型以产生逼真的输出。表各种不同方法的结果对比研究团队称该模型优于以前的方法。“据我们所知我们是第一个在不规则形状的孔洞上展示深度学习图像修复模型效果的人”NVIDIA的研究人员说。研究人员还在论文中提及相同的框架也可以用来处理图像超分辨率任务。论文发表在ICLR 2018。论文地址https://arxiv.org/pdf/1804.07723.pdf来源NVIDIA文章版权归原作者所有转载仅供学习使用不用于任何商业用途如有侵权请留言联系删除感谢合作。
