网站建设页面框架,宣传片拍摄哪个好,类似站酷的网站建站,男女做羞羞的故事网站编 | 小咸鱼 好困源 | 新智元【导读】近日#xff0c;北大校友、约翰霍普金斯大学博士生提出了一种新的方法#xff1a;MaskFeat#xff0c;摘下12个SOTA#xff01;这是一个能用于视频模型的自监督预训练方法#xff1a;掩码特征预测#xff08;MaskFeat#xff09;。论… 编 | 小咸鱼 好困源 | 新智元【导读】近日北大校友、约翰·霍普金斯大学博士生提出了一种新的方法MaskFeat摘下12个SOTA这是一个能用于视频模型的自监督预训练方法掩码特征预测MaskFeat。论文标题Masked Feature Prediction for Self-Supervised Visual Pre-TrainingMasked Feature Prediction for Vision Self-Supervised Pre-Training论文链接https://arxiv.org/abs/2112.09133简而言之MaskFeat的ViT-B在ImageNet 1K上的准确率达到了84.0%MViT-L在Kinetics-400上的准确率达到了86.7%成功地超越了BEiT等方法。一作Chen Wei是约翰·霍普金斯大学的计算机科学博士生此前在北京大学获得了计算机科学学士学位。并曾在FAIR、谷歌和华为诺亚方舟实验室实习主要研究方向是视觉自监督学习。HOG VS Pixel Colors「Mask-and-Predict」总要有个可以「Predict」的特征来让模型学习到东西。MaskFeat最核心的改变就是将MAE对图像像素pixel的直接预测替换成对图像的方向梯度直方图HOG的预测。▲图像HOG特征向量说到HOG这可不是什么新鲜玩意儿。HOG是一种经典的图像特征提取算法发表于2005年的CVPR到现在已经收获了37000的引用。▲https://hal.inria.fr/file/index/docid/548512/filename/hog_cvpr2005.pdf那为什么预测图像的HOG比直接预测像素更好呢像素作为预测目标有一个潜在的缺点那就是会让模型过度拟合局部统计数据例如光照和对比度变化和高频细节而这些对于视觉内容的解释来说很可能并不是特别重要。相反方向梯度直方图HOG是描述局部子区域内梯度方向或边缘方向分布的特征描述符通过简单的梯度滤波即减去相邻像素来计算每个像素的梯度大小和方向来实现的。▲通过将局部梯度组织化和归一化HOG对模糊问题更加稳健HOG的特点是善于捕捉局部形状和外观同时对几何变化不敏感对光的变化也有不变性计算引入的开销还很小可以忽略不计。这次MaskFeat引入HOG其实正是将手工特征与深度学习模型结合起来的一次尝试。MaskFeat首先随机地mask输入序列的一部分然后预测被mask区域的特征。▲对未见过的验证图像的HOG预测只不过模型是通过预测给定masked input左的HOG特征中间来学习的原始图像右并不用于预测。方向梯度直方图HOG这个点子的加入使得MaskFeat模型更加简化在性能和效率方面都有非常出色的表现。在不使用额外的模型权重、监督和数据的情况下MaskFeat预训练的MViT-L在Kinetics-400数据集上获得了86.7%的Top-1准确率。这个成绩以5.2%的幅度领先此前的SOTA也超过了使用如IN-21K和JFT-300M这些大规模图像数据集的方法。此外MaskFeat的准确率在Kinetics-600数据集上为88.3%在Kinetics-700数据集上为80.4%在AVA数据集上为38.8 mAP而在SSv2数据集上为75.0%。结果分析Kinetics-400数据集相比于不使用预训练的CNN严重依赖大规模图像数据集和监督性预训练的基于Transformer的方法MaskFeat表现出极佳的性能。▲在Kinetics-400数据集上的比较经过300个epoch预训练的MaskFeat将MViT-S16×4的81.1%的top-1准确率提高了1.1%。其中16×4表示该模型在训练过程中采用16个时间跨度为4的帧作为输入。而在K400上用MaskFeat预训练了800个epoch的MViT-L 16×4达到了84.3%的top-1准确率比其基线高出了3.8%比使用IN-21K训练的监督模型高出了0.8%。MaskFeat也以一己之力将K400上没有外部数据的最佳准确率MoViNet-A6的81.5%提高了5.2%。此外MaskFeat仅用K400的结果86.7%就能和86.5%的Florence和86.8%的SwinV2-G不相上下。其中Florence使用了9亿个文本-图像对SwinV2-G使用了一个具有30亿个参数的巨型模型并首先在IN-21K和7千万张内部图像的大型数据集上进行自监督和监督预训练。可以说MaskFeat在参数量、计算成本、数据和注释方面的高效性再次证明了直接在未标记的视频上进行预训练的优势也为一种全新的视频预训练方式打开了大门。Kinetics-600 Kinetics-700数据集▲在Kinetics-600数据集上的比较▲在Kinetics-700数据集上的比较MaskFeat在K600和K700上分别达到了86.4%和77.5%的top-1准确率与之前基于Transformer的方法相比既没有使用外部的图像数据而且FLOPs还减少了10倍以上。而在更大的输入分辨率312和更长的持续时间40×3下MaskFeat在K600上实现了88.3%的top-1准确率在K700上实现了80.4%的top-1准确率。于是MaskFeat在没有任何外部监督如IN-21K和JFT-300M的情况下为每个数据集都创造了新的SOTA。ImageNet-1K数据集对MaskFeat进行1600个epoch的预训练在ViT-B上微调100个epoch在ViT-L上微调50个epoch。当图像大小为224x224时MaskFeat与在IN-21K上进行的有监督的预训练相比在ViT-B上打成了平手而在ViT-L上直接实现了超越。当图像大小为384x384时利用IN-21K的有监督预训练需要用到比MaskFeat多10倍的图像和标注。通常来说由于缺乏典型的CNN归纳偏置ViT模型对数据要求很高并且需要大规模的监督预训练。而MaskFeat可以在没有外部标记数据的情况下通过解决特征图像修复任务来克服这个问题。此外与BEiT相比MaskFeat只需要计算HOG特征摆脱了dVAE的tokenizer。而后者在250M DALL-E数据集上引入了额外的预训练阶段并在mask预测期间引入了不可忽视的推理开销。与MoCo v3和DINO相比MaskFeat也更准确、更简单。▲此处MaskFeat的预训练为300个epoch随着MAE、MaskFeat等模型的出现NLP界的制胜武器「Mask-and-Predict」会是CV自监督预训练的下一个标准范式吗对此来自清华大学的知友「谢凌曦」表示视觉自监督领域做了这么些年从最早的生成式学习出发绕了一圈又回到生成式学习。到头来我们发现像素级特征跟各种手工特征、tokenizer、甚至离线预训练网络得到的特征在作为判断生成图像质量方面没有本质区别。也就是说自监督也许只是把模型和参数调得更适合下游任务但在「新知识从哪里来」这个问题上并没有任何实质进展。后台回复关键词【入群】加入卖萌屋NLP、CV与搜推广与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1]https://arxiv.org/pdf/2112.09133.pdf[2]https://www.zhihu.com/question/506657286/answer/2275700206
