无锡企业网站建设,源码屋整站源码,临时工找工作网站做美缝,手机网站开发工具 2018摘要
这篇论文主要研究了2D人体姿态估计的高效架构设计。姿态估计在以人为中心的视觉应用中发挥着关键作用#xff0c;但由于基于HRNet的先进姿态估计模型计算成本高昂#xff08;每帧超过150 GMACs#xff09;#xff0c;难以在资源受限的边缘设备上部署。因此#xff0…摘要
这篇论文主要研究了2D人体姿态估计的高效架构设计。姿态估计在以人为中心的视觉应用中发挥着关键作用但由于基于HRNet的先进姿态估计模型计算成本高昂每帧超过150 GMACs难以在资源受限的边缘设备上部署。因此该论文提出了一个核心问题在轻量模型上高分辨率多分支结构是否真正必要。为了解决这一问题论文作者设计了一个渐进收缩实验发现高分辨率分支对于低计算区域的模型是多余的。基于这一发现他们提出了LitePose这是一种用于自底向上姿态估计的高效架构。LitePose采用了单分支设计并引入了两种技术来增强其容量包括fusion deconv head和 large kernel conv。这种设计不仅降低了计算量而且在实际应用中取得了良好的效果——在移动平台上与之前的最先进的高效姿势估计模型相比LitePose将延迟降低了多达5.0倍而不会牺牲性能推动了边缘实时多人姿势估计的前沿。 目录
摘要
一、介绍
二、相关工作
三、重新思考设计高效模型
1. Scale-Aware Multi-branch Architectures尺度感知多分支架构
1尺度感知
2原理
2. Redundancy in High-Resolution Branches高分辨率分支的冗余
3. Fusion Deconv Head: Remove the Redundancy冗余消除
4. Mobile Backbone with Large Kernel Convs
5. Single Branch, High Efficiency单分支节点更高的效率 一、介绍 人体姿势估计旨在从图像中预测每个人的关键点位置。典型的人体姿势估计模型可以分为自顶向下和自底向上。自顶向下范式首先通过额外的人员检测器检测人员然后对每个检测到的人员执行单人姿势估计。相比之下自底向上范式首先预测无身份的关键点然后将它们分组成人员。由于自底向上范式不涉及额外的人员检测器并且不需要针对图像中的每个人重复运行姿势估计模型因此它更适合于边缘实时多人姿势估计。 然而现有的自底向上姿势估计模型主要集中在高计算区域。例如HigherHRNet在CrowdPose数据集上取得了最佳性能但其需要超过150GMACs的计算量不适合于资源受限的边缘设备设计低计算成本的模型同时保持良好性能至关重要。之前的研究表明在高计算区域中保持高分辨率表示对于获得良好的自底向上姿势估计性能至关重要。然而目前尚不清楚这一结论是否适用于低计算区域的模型。为了回答这个问题我们通过逐渐缩小高分辨率分支的深度构建了一个“桥梁”来连接代表性的多分支架构HigherHRNet和单分支架构见图2。而后发现对于低计算区域中的模型随着高分辨率分支深度的缩小性能会提高见图3。受到这一启发作者设计了一种用于高效自底向上姿势估计的单分支架构LitePose。在LitePose中我们使用修改后的MobileNetV2[43]骨干网络并进行了两项重要改进以有效处理单分支设计中的尺度变化问题fusion deconv head和 large kernel conv。融合反卷积头去除了高分辨率分支中多余的细化操作因此允许以单分支方式进行尺度感知多分辨率融合。与图像分类不同的是作者发现large kernel conv在自底向上姿势估计中提供了明显更显著的改进。最后作者应用神经架构搜索NAS来优化模型架构并选择适当的输入分辨率。 经过在 CrowdPose 和 COCO 数据集上的大量实验LitePose 的有效性得到了充分验证。在CrowdPose 数据集上LitePose 实现了2.8倍的MACs乘加操作次数减少和高达5.0倍的延迟减少同时性能表现也很好。在COCO数据集上与 EfficientHRNet 相比LitePose 实现了2.9倍的延迟减少并且提供了更好的性能表现。这些结果证明了LitePose在保持高性能的同时显著降低了计算成本使其在边缘设备上实现实时多人姿态估计成为可能。 本论文做出的贡献可以总结为以下几点 1. 本研究通过设计渐进收缩实验证明了高分辨率分支在低计算区域的模型中的非必要性 2. 本文提出了LitePose这是一种高效的自下而上姿态估计架构。同时还引入了两种技术来增强LitePose的性能包括fusion deconv head和 large kernel conv。 3. 在Microsoft COCO[28]和CrowdPose[26]这两个基准数据集上进行了大量实验证明了该方法的有效性与最先进的基于HRNet的模型相比LitePose实现了高达2.8倍的MACs乘加操作次数减少延迟减少高达5.0倍。 二、相关工作
2D Human Pose Estimation 二维人体姿态估计旨在确定人体的关键点和部位主要有自上而下和自下而上两种框架。虽然基于HRNet的多分支架构在自下而上姿态估计中取得了先进的结果但由于其计算量大难以在边缘设备上部署。因此本工作致力于提高自下而上框架的效率故遵循最先进的基于HRNet的方法并借鉴了关联嵌入技术进行关键点分组。
Model Acceleration.模型加速 除了直接设计高效的模型外另一种模型加速的方法是压缩现有的大型模型。一些方法旨在去除连接和卷积滤波器中的冗余同时还有一些方法专注于网络的量化。此外还提出了几种AutoML方法实现自动化模型压缩和加速过程。最近Yu等人设计了LiteHRNet用于自上而下姿态估计而本文则专注于自下而上的范式研究。Neff等人提出了EfficientHRNet用于高效的自下而上姿态估计。他们将EfficientNet中的复合缩放思想应用于HigherHRNet实现了1.5倍的MACs减少然而当严格约束计算时该方法仍会面临性能急剧下降的问题。而本文将MACs减少率提高到5.1倍并在移动平台上实现了比EfficientHRNet高达5.0倍的延迟减少。
Neural Architecture Search.神经网络架构搜索
NAS在图像分类任务中取得了成功通过共享权重的一次性NAS方法可以提高搜索效率。后又尝试采用了一次性搜索所有once-for-all的方法自动修剪通道内的冗余并选择适当的输入大小。总之在本研究中我们利用NAS方法进一步提升了LitePose的性能实现了更高的MACs减少率和延迟减少并显著提升了模型精度搜索的模型实现了高达3.6AP的显著改进。。 三、重新思考设计高效模型 多分支网络在自底向上姿势估计任务中取得了巨大成功。它们的代表作HigherHRNet使用多分支架构来帮助融合多分辨率特征从而显著缓解了尺度变化问题。由于这一特性多分支架构优于单分支架构并取得了最先进的结果。但是大多数这些方法在高计算量条件下才能达到最佳性能比如使用超过150GMACs。针对实际的边缘应用研究低计算量下高效的人体姿势估计方法是非常重要的。在本节中首先介绍了基于HRNet的多分支架构以及它们如何处理尺度变化问题。然后指出了在计算受限情况下高分辨率分支中的冗余问题并通过逐步缩小来加以说明。 针对这一现象首先提出了 fusion deconv head融合反卷积头它消除了高分辨率分支中的多余细化操作从而以高效的方式处理尺度变化问题。另外与图像分类任务相比large kernel conv大卷积核对姿势估计任务的改进要明显得多。
1. Scale-Aware Multi-branch Architectures尺度感知多分支架构
1尺度感知 多分支设计旨在缓解自底向上姿势估计中的尺度变化问题。由于我们需要预测图像中所有人的关节坐标单分支架构通常很难识别小人并区分最终低分辨率特征中的接近关节如图5(b)所示。然而多分支架构引入的高分辨率特征可以保留更详细的信息因此有助于神经网络更好地捕捉小人并区分接近的关节。
2原理 如图2所示基于HRNet的多分支架构主要由4个阶段组成。在第n阶段这里我们将干扰阶段视为第1阶段分别处理具有不同分辨率的n个不同输入特征图的n个分支。在处理输入特征时每个分支首先分别对其自己的输入特征进行细化然后在分支之间交换信息以获取多尺度信息。
2. Redundancy in High-Resolution Branches高分辨率分支的冗余 本节介绍了一种称为逐渐缩小gradual shrinking的方法用于揭示多分支架构中高分辨率分支的冗余性。如图2和图3所示通过逐渐缩小高分辨率分支的深度多分支网络的行为越来越类似于单分支网络。然而性能不会下降甚至可能会提高。
Gradual Shrinking. 见图2。首先定义An [a1, ..., an]来表示在融合前每个分支用于细化特征的块数ai表示分支i中的块数。分支i处理的特征图分辨率高于分支i1。整个多分支架构的配置可以定义为A {A1, A2, A3, A4}。 如果一个配置Ai [a1, ..., ai]是从另一个配置Ai [a1, ..., ai]缩小得到的那么对于所有j ∈ {1, ..., i}都应有aj ≤ aj。为了方便起见我们将其表示为Ai ≤ Ai。如果一个配置A是从A缩小得到的即A ≤ A那么对于所有i ∈ {1, 2, 3, 4}都应有Ai ≤ Ai。逐步缩小意味着构建一个配置序列[C1, ..., Cm]使得对于所有i ∈ {1, ..., m-1都有}Ci1 ≤ Ci。如图2和图3所示我们逐渐缩小高分辨率分支的深度并惊讶地发现这种缩小操作甚至有助于提高性能。 为了使 Gradual Shrinking 的过程更清晰本文详细列出了我们使用的四种配置: 3. Fusion Deconv Head: Remove the Redundancy冗余消除 在上文中已经揭示了多分支架构的冗余性但是多分支架构在处理尺度变化问题方面的强大能力依然不容忽视。为了实现将这一特性融入设计中同时保留单分支架构的优点例如高效率的目标作者提出融合反卷积层作为最终的预测层。如图4和图6所示作者直接即没有任何细化利用先前阶段生成的低级高分辨率特征进行反卷积和最终预测层。一方面LitePose使用单分支架构作为网络模型骨干从而受益于低延迟特性。另一方面直接使用低分辨率特征避免多分支HR fusion模块中的冗余细化。因此LitePose以高效的方式继承了单分支设计和多分支设计的优势。在图6(a)和图5中展示了fusion deconv head的性能——在几乎不增加计算成本的情况下实现了7.6AP的性能提升 4. Mobile Backbone with Large Kernel Convs 本文在LitePose中使用经过修改的MobileNetV2作为骨干并通过移除最后的下采样阶段和引入大卷积核来优化网络结构以更好地处理姿态估计任务中的尺度变化问题。实验结果表明适当增大卷积核尺寸可以显著提高姿态估计性能但并非越大越好过大的卷积核会导致性能下降。因此在架构中将卷积核大小固定为7x7。 之前的一些论文已经研究了在图像分类任务的严格计算约束下的高效架构。如图4所示本文在LitePose中使用了修改后的MobileNetV2架构作为骨干网络。并对原始的MobileNetV2骨干进行了微小修改——去除了最后的下采样阶段因为过多的下采样层会导致基本信息的丢失这不利于姿势估计任务的高分辨率输出。 并且为了进一步缓解尺度变化问题在架构设计中引入了 large kernels。图7展示了核的大小分别为3、5、7对于姿势估计任务还有9的模型在图像分类和姿势估计任务中的性能比较。在计算成本同样增加约25%的情况下姿势估计任务上的性能提升13.0AP远远显著于图像分类任务上的性能提升1.5%的准确率。图5中的可视化结果也验证了这一说法。然而过大的核将引入许多无用的参数和不可忽略的噪声这不利于训练并导致性能下降如图7中k 9的情况所示。此外还发现将核的大小纳入搜索空间会严重降低第4节中提到的NAS的性能这可能是由于核的大小变化的影响很大因此本文决定在架构中将核大小固定为7×7。 5. Single Branch, High Efficiency单分支节点更高的效率 LitePose作为单分支架构不仅展现出卓越的性能提升11.6AP而且在实际应用中具有硬件友好的特性。相比多分支设计单分支架构能减少网络碎片化提高硬件并行度。与HigherHRNet-W16[8]相比LitePose-L不仅取得了更好的性能11.6AP而且在Qualcomm Snapdragon 855硬件上LitePose-L的延迟与HigherHRNet-W16相近即使其MACs乘积累加操作更多。这些结果充分证明了LitePose的高效性使其成为实际应用中更好的选择。
