网站建设与管理的认识,免费培训网站,哈尔滨手机网站建设价格,wordpress插件刷不出来Consistent Sub-Decision Network for Low-Quality Masked Face Recognition
摘要 提出了一种利用由多个dropout块组成的在线一致性评估结构来获得对应于人脸不同区域的子决策网络#xff0c;以获得对应于不同面部区域的子决策#xff0c;并通过加权双向KL散度来约束子决策以获得对应于不同面部区域的子决策并通过加权双向KL散度来约束子决策使网络集中在上面而没有遮挡的面部。此外还进行知识蒸馏以驱动蒙面人脸嵌入接近原始数据分布以减轻信息丢失。实验表明所提出的方法在公共蒙面人脸识别数据集即 RMFD、MFR2 和 MLFW上的性能优于基线。
创新点 1提出了一致的子决策网络来获得对应于不同面部区域的子决策并通过加权双向KL散度来约束子决策使网络更加集中于面部区域上面的脸没有遮挡。 2进行知识蒸馏以驱动蒙面人脸嵌入接近原始数据分布以减轻信息丢失。
模型 使用 FaceX-Zoo为每个正常人脸图像生成蒙版人脸图像以获得混合训练数据集。假设正常人脸图像集、混合人脸图像集和身份标签集组成一对数据集 D 。两个样本 {x_i}^N,{x_i}^M表示为作为来自同一身份的正常人脸图像及其对应的蒙版人脸图像。 所提出的一致子决策网络的结构。在图的上部每个人脸被提取成特征图作为dropout模块的输入以获得多个子决策不同的颜色区分了具有不同遮罩盖的面部图像的 dropout 模块的输出。应用双向KL散度约束来自动确定子决策一致性的优化方向。在图的下部使用预训练的正常人脸识别模型来为上面的学生网络提炼指导性知识。
A. 一致的子决策网络 基于模拟的方法提出从未蒙蔽的面孔生成蒙蔽的面孔。然而在这些模拟人脸中仍然存在一些具有负遮挡的低质量样本从而导致面部特征模糊或缺失。为了解决这个问题利用由多个dropout块组成的在线一致性评估结构来获得对应于人脸不同区域的子决策。子决策受到加权双向 KL 散度的约束使网络更多地集中在没有遮挡的上表面上并提取更多的判别性特征。 在线子决策一致性评估方法的结构。展平后的特征图通过 dropout 模块生成子决策。一致性是通过子决策之间的 KL 散度来衡量的。 给定来自D的人脸图像X首先使用特征图生成器提取输入人脸图像的特征图。然后特征图被展平并通过多个 dropout 块以获得对应于不同面部区域的子决策这些子决策被收集并且在实现中设置 n 3。由于已经证明在网络上重复应用dropout可以近似高斯过程的不确定性我们进一步将这种不确定性扩展到子决策。在子决策之间应用双向KL散度计算来确定一致性值C(X)。 子决策一致性可用于从模拟蒙面图像中检测低质量样本。首先计算子决策之间的分歧。然后应用激活函数来计算每个输入人脸图像的一致性值。一致性得分输出是[0,1]之间的概率值。如图2所示可以看到一致性可以应用于从模拟蒙面图像中检测低质量样本。 子决策一致性可用于从模拟蒙面图像中检测低质量样本。值越大表示子决策一致性和图像质量越高。 为此知道低子决策一致性值对应于模拟人脸图像中的低质量样本。然而不同的子决策侧重于具有不同识别信息的不同面部区域。因此寻求迫使具有低识别信息的子决策逼近具有高识别信息的子决策从而使网络更多地集中在上表面而没有遮挡。为了自动评估每个子决策的信息程度应用概念分支的输出作为双向KL散度约束中的权重。 B. 知识蒸馏 正常人脸比蒙面人脸包含更多的识别性身份信息。寻求使蒙面人脸嵌入接近正常人脸嵌入以减轻信息丢失。具体来说使用预训练的模型来执行知识蒸馏。给定一对面部图像X^N,X^M从教师和学生模型中获得正常人脸嵌入 f^N和蒙面人脸嵌入 f^M。为了充分利用不同的面部区域信息进一步应用概念分支的权重来获得加权嵌入可以表示为 其中M_{teacher}是预训练模型的嵌入编码器G是特征图生成器D_i是第i个dropout块w^i表示概念分支的输出。使用嵌入之间的余弦距离方法来进行知识蒸馏作为正则项 为了保持类间差异和类内聚合我们使用 CosFace作为我们的分类损失函数它可以表示为 总体损失函数公式如下
