学院做网站的意义,上海法律网站建设,阳东区网络问政平台,深圳广告公司名录基于Transformer的端到端三维人体姿态估计
摘要
基于Transformer的架构已经成为自然语言处理中的常见选择#xff0c;并且现在正在计算机视觉任务中实现SOTA性能#xff0c;例如图像分类#xff0c;对象检测。然而#xff0c;卷积方法在3D人体姿态估计的许多方法中仍然保…基于Transformer的端到端三维人体姿态估计
摘要
基于Transformer的架构已经成为自然语言处理中的常见选择并且现在正在计算机视觉任务中实现SOTA性能例如图像分类对象检测。然而卷积方法在3D人体姿态估计的许多方法中仍然保持SOTA性能。受视觉变换器最近发展的启发我们设计了一个无热图结构使用标准的变换器架构和可学习的对象查询来建模每个帧内的人体关节关系然后输出准确的关节位置和类型我们还提出了一个基于变换器的姿势识别架构没有任何贪婪算法来在运行时对预测的骨骼进行后处理。在实验中我们实现了最佳的性能之间的方法直接回归3D关节位置从一个单一的RGB图像并报告与许多2D到3D提升方法的竞争结果。 我们模型的整体架构。遵循DETR的模式我们使用CNN主干来提取多尺度特征然后使用位置编码和可学习的层编码来补充扁平化的多尺度特征然后使用3D直接方法人体姿势Transformer从输入特征中回归3D人体姿势。为了突出集合预测和对3D HPE上的Transformer器的从粗到细训练的重要性我们设计了两种类型的变换器其细节将在后面描述。
我们的方法的贡献如下
·我们提出了一个单级端到端3D人体姿态估计网络。在此基础上验证了DETR算法对三维关键点检测的有效性。
·为了降低模型直接学习3D空间中人体关键点表示的难度我们提出了一种基于由粗到细中间监督的解码器连接结构。
通过比较强制对齐Transformer检测网络和我们提出的网络我们研究了可学习的联合查询和二分匹配损失对最终效果的影响。
方法 Transformer 3D HPE基线 联合检测Transformer架构 Transformer 3D HPE baseline由三部分组成具有可变形注意力以利用多尺度特征的Transformer编码器具有固定查询大小和类型的Transformer解码器以及多层感知。基于基线架构联合检测Transformer在解码器中增加了中间训练和集合预测并且还增加了后处理阶段以完成可能不完整的骨架。 三个要素对于解释直接估计和2D到3D提升方法之间的性能差距至关重要
1多尺度输入图像特征
2捕捉图像特征与关节位置之间的关系这导致遮挡下的巨大性能下降;
3有先验知识的由粗到精的培训;
我们还发现Transformer中的自注意机制可以代替一般检测网络中的检测头捕获联合查询之间的联合关系该机制可以解释为细化输入特征向量Q、特征到结果映射向量K、结果向量V的隐藏表示该过程可以用公式表示√ dk是缩放参数 多尺度可变形注意力[18]解决了Transformer架构在计算机视觉任务中只能使用单层特征并且需要很长的训练时间才能专注于部分图像特征的问题。 其中Aqk是关注值φlΦ pq是特征层l的归一化参考点Δ pq是可学习参考点偏移。
整体架构如图2所示。我们首先介绍我们的姿势识别基线网络与forcealigned Transformer和多层变形注意然后我们介绍我们的联合检测变压器最后一个联合细化网络以填补不完整的预测骨架。
A. Transformer 3D HPE baseline
我们实现了我们的基线模型与标准的Transformer为基础的架构。基线模型使用固定的联合查询大小并且仅利用Resnet输出的最后一层特征见图2a我们还将Transformer编码器中的自注意层和变换器解码器中的交叉注意层替换为多尺度可变形注意。在编码器阶段由Resnet生成的图像特征被展平并馈送到Transformer编码器中以产生上下文敏感的图像特征。编码器还利用位置嵌入和尺度级嵌入来保留原始图像的位置和层信息。该过程可以被公式化为 通过主干网络进行特征提取后对特征图进行E ∈ R1 × 1 × C卷积然后将特征图的空间维数折叠成一维d × HW。为了显示可学习的联合查询在3D姿态估计任务中的有效性我们的基线网络将每个查询与相应的联合对齐。对于输入序列X ∈ RJ×hJ表示地面真值节点的个数h是Transformer的隐维数xi ∈ R1 ×h|i 12…J指示每个查询的输入向量。然后将输出序列Xdec ∈ Rf×3馈送到可选的关键点完成网络中以重建丢失的关键点并细化预测的姿态。
B.联合检测Transformer
基于上述基线模型我们做了一些改进解码器现在将N个查询的固定大小集合作为输入其中N显著大于大多数人体姿势估计数据集中的典型关节数在我们的情况下我们将N设置为100。并且在解码器层的末端分类头在J种类型的关节和背景之间进行预测并且3通道回归头输出每个关键点的基于根的3d坐标。参见图2B。由于解码器预测的关节数量大于地面真实骨架因此我们应用二分损失函数来训练我们的网络以找到预测表示为P的量和地面真实对象表示为G的量之间的最佳匹配我们模型的优化目标是以最低成本找到函数σ ∈ [P] → [G]。 其中LHungarian旨在以最低成本找到预测集和地面实况集之间的匹配。将σi定义为对应于地面实况关节i的预测指数将pσici定义为Lmatch的类别ci的概率并且将bσibi定义为预测关节位置和地面实况关节位置。当配对的地面实况对象是时我们手动定义配对成本Lmatch 0并且当配对的地面实况对象是真实的关节即不是时预测的关节类型与地面实况对象匹配的概率越大或者两者之间的关节损失越小配对成本Lmatch越小。在推理阶段我们不能使用地面真值密钥所以我们只使用分类概率来匹配N个预测与J个类型的关节。在我们的实现中我们使用分类概率和联合位置误差的加权混合来匹配我们的对象查询损失被定义为λclsLclsbibσi λregLregbibσi其中λcls和λreg是控制给定预测联合及其最佳匹配的联合类型分类损失和联合位置损失的权重的2个超参数。
为了减轻模型学习在3D HPE任务中常见的高度非线性三维坐标的难度我们在解码器阶段采用了由粗到精的训练我们希望解码器能够逐渐学习到关节点的位置信息如图3所示 所以我们设计关节位置回归损失Ljoint如下 其中θi给出地面实况联合i的最佳匹配xdl是对应解码器层的阈值γydl是衰减系数。我们将分类损失Lcls定义为 我们对每个解码器层应用上述损耗计算并且逐层地将xdl减小到最后一层处的0。此外我们不仅使用由粗到精的训练方法来训练我们的模型以逐层细化关节点的预测我们还特别设计了一种连接方法以便后一层的解码器可以使用前一层的预测。
C.关节点细化网络
虽然对象查询机制可以减少遮挡的影响但由于严重遮挡或训练期间空关节和其他关节类型的比例不平衡仍然可能存在未检测到的关节。为了解决这个问题我们设计了一个网络来完成不完整的骨架我们将这个网络命名为联合点精化网络。受BERT的掩模机制的启发对于每个不完整的预测关节集vi xjyjzjJj1地面实况定义的关节大小捐赠J我们选择预测关节集的20%。如果选择了预测骨架的第i个关节点则将其替换为1骨架树中其父节点和子节点的中点如果所选节点是叶节点则直接设置为父节点位置80%的时间2第i个关节位置在20%的时间内不变然后与其非空的父关节和子关节连接并将掩蔽集输入到多层感知器中以生成相应的完整关节集并使用回归头来回归最终的骨架输出我们期望模型学习预测骨架的内部关系并使用现有的关节位置来完成骨架。对于训练我们仅计算掩蔽关节的损失我们应用损失函数Lc如下 其中B是关节点细化网络的输出关节p是真实关节点M是所选关节的数量。与普通的三维人体姿态估计相比关节点精化网络的训练数据更容易获得。训练这个网络只需要骨架数据这些数据可以从多个来源收集。
结论
本文提出了一种基于Transformer的端到端人体姿态估计方法。Transformer编码器使用可变形多尺度注意力来接收由骨干网络产生的多尺度特征图输出作为输入。然后将增强的联合查询和编码的图像特征用作Transformer解码器的输入与二分图像匹配损失相结合以获得3D人体姿势。我们的方法降低了学习三维人体姿势表示的模型的难度。在多个数据集上的实验定性和定量地验证了该方法的有效性。
