江苏网站建设哪家有,宁波免费网站建站模板,360建筑网官网入口官方,网站备案备的是域名还是空间AR-Net网络 摘要AbstractAR-Net1. 文献摘要2. 研究背景3. 创新点4. AR-Net 网络架构5. 实验6. 结论总结 摘要
AR-Net使用自适应注意力机制来融合位置和通道维度的特征#xff0c;使网络能够充分利用不同维度的被篡改特征#xff0c;此外#xff0c;AR-Net 改进了预测掩模使网络能够充分利用不同维度的被篡改特征此外AR-Net 改进了预测掩模并在 像素级别定位了被篡改的区域和相应的真实区域在 CASIAII、COVERAGE 和 CoMoFoD 数据集上进行评估的大量实验表明AR-Net 的性能优于最先进的算法并且可以在像素级别定位被篡改的区域和相应的真实区域。本文将详细分析AR-Net网络架构
Abstract
AR-Net uses an adaptive attention mechanism to fuse features in the position and channel dimensions, allowing the network to fully utilize tampered features in different dimensions, in addition, AR-Net improves the prediction mask and localizes tampered regions and corresponding true regions at the pixel level, extensive experiments evaluated on the CASIAII, COVERAGE and CoMoFoD datasets show that AR-Net outperforms state-of-the-art algorithms and can localize tampered regions and corresponding real regions at the pixel level. In this paper, we analyze the AR-Net network architecture in detail
AR-Net
文献来源AR-Net: Adaptive Attention and Residual Refinement Network for Copy-Move Forgery Detection
1. 文献摘要
在复制移动伪造中篡改区域和真实区域的照明和对比度高度一致本文提出了一种基于自适应注意力和残差细化网络AR-Net的端到端神经网络。具体来说位置和通道注意力特征通过自适应注意力机制融合以充分捕获上下文信息并丰富特征的表示。其次采用深度匹配来计算特征图之间的自相关性并且多孔空间金字塔池化融合缩放的相关图以生成粗掩模。最后通过残差细化模块对粗掩模进行优化保留了对象边界的结构。在 CASIAII、COVERAGE 和 CoMoFoD 数据集上进行评估的大量实验表明AR-Net 的性能优于最先进的算法并且可以在像素级别定位被篡改的区域和相应的真实区域。此外AR-Net 对噪声、模糊和 JPEG 重新压缩等后处理操作具有很高的鲁棒性。
2. 研究背景
随着图像编辑工具的快速发展可以很容易地修改数字图像从而达到一定程度的真实感。因此应保护数字图像的真实性和完整性避免误导性更改、欺诈和版权纠纷。复制移动是图像伪造中最常见的操作它可以在同一图像中隐藏或添加有意义的对象复制移动的痕迹也被噪声、模糊、旋转和压缩等隐藏这使得识别它成为一项非常具有挑战性的任务。
传统的复制移动伪造检测CMFD算法可以分为两类基于重叠块和基于关键点。 基于重叠块计算复杂度高且对几何变换无效。基于关键点的算法提取鲁棒的关键点特征并通过相似性匹配定位篡改区域对几何变换具有更好的鲁棒性但是当篡改区域光滑时会失败。
堆叠式自动编码器SAE 首先用于执行拼接伪造检测它学习了每个块的复杂上下文特征但像素精度较差环形残差U-NetRRU-Net 更好地利用了上下文空间信息解决了拼接伪造检测的梯度退化问题。
由于CNN很容易发现篡改痕迹。虽然复制移动伪造中源区域和目标区域源自同一图像但照明和对比度将高度一致这对基于CNN的CMFD造成更大的挑战。应用 CNN和长短期记忆LSTM提取空间特征对 Detection and localiza-tion of image forgeries using resampling features and deep learning使用重采样特征和深度学习检测和定位图像伪造 论文中的特征进行重采样。
在CVPR2018中提出了基于RGB和噪声的双流网络。双流由双线性池层融合该层在像素级定位因拼接、复制移动和删除而篡改的区域。
BusterNet 是第一个基于 CNN 的专门用于复制移动伪造的框架其中融合操作和相似性分支来对源和目标篡改区域进行分类和定位但它不利于检测小的篡改区域。
3. 创新点 CMFD通常指的是Convolutional Mixture Density Network即卷积混合密度网络。这是一种神经网络模型结合了卷积神经网络CNN和混合密度网络MDN的特点用于处理具有多模态输出的回归问题。 在传统的回归问题中我们通常希望模型输出一个确定的数值作为预测结果。但在某些情况下输出可能是多个不同的模态或者说是多个可能的值例如在生成任务中或者处理不确定性较大的数据时。这时候传统的回归模型可能无法很好地处理这种多模态输出的情况。 大多数方法在 CMFD 任务中仍然存在缺陷整体像素之间的相互关系没有很好地建模并且上下文信息在 BusterNet 中丢失。因此在本文中作者提出了一种基于自适应注意力和残差细化网络的端到端网络AR-Net输入后可以直接得到预测掩模。
作者提出了一种新颖的 自适应注意机制 来提取所表示的篡改特征可以将其添加到任何伪造检测框架中 以提高篡改位置的准确性。作者使用 残差细化模块来优化预测边界 从而实现了完整的篡改对象。
通过结合上述两个模块提出了一种新颖的CMFD网络。实验证明AR-Net 可以有效检测被篡改的区域和相应的真实区域并且对于常见的后处理操作非常鲁棒。CCNet 使用交叉注意力来减少参数数量然而这些算法仅在单一维度上使用注意力机制忽略了其他维度的信息。 DANet 虽然采用了多维度的自注意力机制但它只是简单地融合了多特征很容易受到单维度特征的影响。
作者利用自注意力机制获得位置和通道维度的注意力图通过自适应融合方法将它们融合以获得更适合篡改区域检测的注意力图。大多数研究人员都专注于可靠的篡改特征表示而没有考虑分割图的细化。在本文中作者提出添加残差细化模块来细化预测的粗掩模这使得最终掩模保留了对象边界的结构并提高了篡改区域的准确性。
4. AR-Net 网络架构
作者提出的 AR-Net 在像素级别定位同一图像中的被篡改区域和相应的真实区域。如下图所示 AR-Net 中有两个主要模块——检测模块和残差细化模块。检测模块由两个主要部分组成具有自适应注意力的特征提取网络以及通过自相关和通过空洞空间金字塔池化ASPP融合进行的深度匹配。
池化层可以减少网络参数的数量但会降低空间分辨率。为了丰富深层特征的空间信息并生成高分辨率特征图我们在第四个卷积层之后采用扩展率为“2”的空洞卷积。 空洞卷积Dilated Convolution也称为膨胀卷积是一种卷积神经网络中的特殊卷积操作通过在卷积核中引入间隔或称为膨胀率来增大感受野而不改变参数数量的情况下增加输出特征图的尺寸。空洞卷积可以有效地捕获输入特征图中更大范围的上下文信息有助于提升网络对于全局信息的理解能力从而提升模型的性能。 然后利用自适应注意模块来提取全局特征如下图所示。作者在位置和通道维度中使用自适应注意机制来捕获全局像素的长程依赖性突出显示被篡改区域和真实区域之间的差异。 其中 E P α ( V ∗ A ) X E_{P}\alpha(V*A)X EPα(V∗A)X E C α ′ ( V ′ ∗ A ′ ) X E_{C}\alpha(V*A)X ECα′(V′∗A′)X E γ ∗ E P θ ∗ E C E\gamma*E_P\theta*E_C Eγ∗EPθ∗EC其中γ和θ是两个自适应参数由标准高斯分布初始化在训练过程中不断学习。
该图为自适应注意模块其中包含a位置注意模块、b通道注意模块和自适应融合X是VGG16的最后三个卷积输出E是自适应注意模块之后的特征图。作者使用多个自适应注意力模块。具体来说VGG16 的最后三个卷积输出被发送到三个自适应注意模块中。特征图由第 k 个卷积块通过自适应注意力模块 E k ∈ R C × H × W E_k ∈ R^{C×H×W} Ek∈RC×H×W, k ∈{3, 4, 5} 获得。由于主干网络为VGG16网络因此第一个自适应注意力模块 E 3 E^{3} E3的通道为256个其余两个通道 E 4 E^4 E4和 E 5 E^5 E5为512个如下图所示。 由于被篡改的区域是从相应的真实区域复制而来的因此它们之间的相似度远高于被篡改的区域和其他真实区域。
作者使用深度匹配来定位相似区域。 E 3 E^3 E3、 E 4 E^4 E4 和 E 5 E^5 E5 在其中找到匹配补丁的特征图第m个patch的特征图 E m k E^{k}_{m} Emk 和第n个patch的特征图 E n k E^{k}_{n} Enk 之间的相似度得分 s m , n k s^{k}_{m,n} sm,nk 计算为 s m , n k ( E m k ) T ( E n k ) s^{k}_{m,n}(E^{k}_{m})^{T}(E^{k}_{n}) sm,nk(Emk)T(Enk)为了抑制不相关的信息我们使用降序排列的池化来选择与前 T T T 个分数对应的索引作为 i n d k ( T ) ind_k(T) indk(T) 其中Top_T_index(·)表示选择 t o p − T top-T top−T 值的索引的函数 S k S^k Sk是特征图 E k E^k Ek的相似度得分。在我们的网络中由于空洞卷积特征图 E 3 、 E 4 、 E 5 E^3、E^4 、E^5 E3、E4、E5 具有相同的维度但通道数不同深度匹配后得到匹配特征图 E f i n a l E_{final} Efinal为 如下图所示残差细化模块主要由输入层、下采样层、桥接层、上采样层和输出层组成输入阶段有 64 个大小为 3 × 3 的滤波器后面是批量归一化和 ReLU 函数。,桥接阶段还具有一个卷积层其中包含 64 个大小为 3 × 3 的滤波器然后是批量归一化和 ReLU 函数下采样使用平均池化上采样使用双线性插值同时引入了跳层连接其中上采样后的特征图被添加到相应输入阶段的特征图。,最后经过一个带有sigmoid激活函数的卷积层得到最终的细化掩模。 在训练检测模块时使用空间交叉熵损失函数来最小化网络中的最优参数集在训练残差模块时由于BCE损失只考虑每个像素孤立的情况没有考虑每个像素与相邻像素之间的关系BCE损失对篡改区域和真实区域边界处的像素一视同仁无法突出篡改区域和真实区域之间的差异。为了保留更多的结构信息并突出篡改区域的边界我们使用混合损失函数 l r e f l_{ref} lref 定义为 其中 l b c e l_{bce} lbce、 l s s i m l_{ssim} lssim和 l i o u l_{iou} liou分别代表BCE损失、结构相似性SSIM损失和交并集IoU损失。 SSIM损失可以捕获结构信息并考虑每个像素的局部邻域这是块级别的度量通过SSIM损失残差细化网络可以更加关注被篡改区域的边界并在训练时为边界分配更多的权重。 IoU 损失通常用于评估对象检测和分割通常被用于训练阶段 5. 实验
作者使用 CASIAII、COVERAGE 和 CoMoFoD——三个标准的复制-移动伪造数据集。数据集如下表 为了加快模型收敛速度并为训练提供有效的初始化参数方案将训练数据集调整为256×256初始化参数由DMAC提供。训练分两个阶段进行检测模块训练和细化模块训练。两个阶段训练损失的可视化如下图所示。在DMAC和Adadelta优化器预训练初始化参数的帮助下lbce1在多次迭代中收敛lbce2、lssim和liou在训练细化模块时很快收敛到最优值因为细化模块的参数小于整个网络的10%。 为了在像素级别评估框架作者使用Precision、Recall和F1作为评估标准它们是测试数据的平均值计算公式如下 其中TP表示预测为被篡改的被篡改像素数FP表示预测为被篡改的真实像素数FN表示被篡改的像素数实际操作中当概率值大于 0.3 时我们将像素标记为被篡改。
准确率、召回率和F1如下表所示随着位置注意力、渠道注意力和简单整合注意力的导入F1分别上涨4.82%、5.18%和5.84%。此外加入残差细化模块后AR-Net的F1提高了2.13%可以验证细化模块有效缓解了“Base-Ada-Atten”网络的像素边界预测不准确的问题提高了网络的整体性能。
6. 结论
本文提出了一种基于自适应注意力机制和残差细化的端到端CMFD网络。 AR-Net使用 自适应注意力机制来融合位置和通道维度的特征使网络能够充分利用不同维度的被篡改特征此外AR-Net 改进了预测掩模并在 像素级别 定位了被篡改的区域和相应的真实区域实验表明了自适应注意力模块和 CASIAII、COVERAGE 和 CoMoFoD 数据集上的残差细化的有效性与其他最先进的 CMFD 方法相比AR-Net 可以准确定位被篡改的区域并且对噪声、模糊和 JPEG 重新压缩等后处理具有鲁棒性。但是AR-Net 是单流没有利用多种模式的信息。
总结
本周学习了AR-Net网络作者提出了一种新颖的自适应注意机制来提取所表示的篡改特征可以将其添加到任何伪造检测框架中以提高篡改位置的准确性。同时使用残差细化模块来优化预测边界从而实现了完整的篡改对象。通过学习AR-Net网络使我初步了解了图像篡改检测方向下周我会继续努力。
