做熟食的网站美食网站,顺德网站开发招聘,jekyll wordpress,安徽省芜湖建设定额网站文 | Sherry 不是小哀集成模型#xff08;Ensemble#xff09;可以提升模型的精度#xff0c;但往往面临提升计算量的困境#xff0c;用级联模型#xff08;Cascade#xff09;在预测时提前中断则可解决计算量的问题。最近#xff0c;谷歌和CMU的研究者对此进行了深入的… 文 | Sherry 不是小哀集成模型Ensemble可以提升模型的精度但往往面临提升计算量的困境用级联模型Cascade在预测时提前中断则可解决计算量的问题。最近谷歌和CMU的研究者对此进行了深入的分析他们比较了常见深度神经网络在图像任务上集成学习的效果。他们提出通过多个轻量级模型集成、级联可以获得相比单个大模型更高效的提分方案。目前大家大都通过设计模型结构或是暴力扩大模型规模来提升效果之后再通过模型剪枝提高效率。本文提出这些方法费时费力在实际应用中可以通过更好的集成、级联模型设计来获取更高效的提分策略。论文题目: Multiple Networks are More Efficient than One: Fast and Accurate Models via Ensembles and Cascades论文链接: https://export.arxiv.org/pdf/2012.01988.pdfArxiv访问慢的小伙伴也可以在 【夕小瑶的卖萌屋】订阅号后台回复关键词 【1223】 下载论文PDF~高效的提分策略▲cascade1.pngXiaofang Wang等人将集成学习的方法应用到常见的图像分类模型上仅仅使用2-3个弱分类器例如EfficientNet-B5就可在同样推理计算量的条件下达到强分类器例如EfficientNet-B6甚至B7的准确率。如果进一步加入了级联学习的机制则可进一步降低运算量。从上图中我们可以看出集成学习本身方块已经相对于单模型圆点在精度Accuracy-运算量FLOPS平面上有提升而加入了级联方法五角星则可进一步提升效果。特别的尽管经过精心设计的Inception-v4模型位于(13,80)的黑点表现优于所有ResNet下方黑色圆点模型但通过级联得到的ResNet蓝色五角星可以在准确率-计算量图上获得优于Inception-Net的效果。群众的眼睛是雪亮的集成学习的方法可以为什么可以暴力提高模型预测准确率呢我们首先训练多个弱分类器这里拿分类任务来举例子把每个弱分类器的意见结合起来看我们就能得到一个更靠谱的分类结果。常见的集成学习方法包括Bagging[2], Boosting[3]和 AdaBoost[4]。实际应用中我们使用不同的随机种子初始化模型将训练好的模型预测概率取平均或者是简单的投票就能提升一定的准确率。Thomas G Dietterich在[5] 中就给出了集成学习能成功的理论解释。用平均值的方法集成模型可以看成在假设空间中找一组点的重心投票的方法也类似找某个“心”。统计学上来说我们使用模型学习假设时如果训练数据量小于假设空间的大小时模型就会学到不同的假设。上图的左上角中外部曲线表示假设空间内部曲线表示在训练数据上能学到的假设范围点f是真实的假设;通过平均几个学习到的假设我们可以找到f的良好近似值。从随机梯度下降SGD的角度而言我们通常得到的是局部最优解。把从不同初始参数学到的模型集合起来可以比任何单独的分类器更好地近似真实分布上图右上角。从表示学习角度出发由于模型和数据的限制在大多数训练集学习到整个假设空间的假设例如上图下半部分。通过平均可以扩展可表示函数的空间从而得到这些原本无法学习到的表示。暴力获得又好又快的模型实际应用中我们的资源往往是有限的。在不降低模型精度的条件下减少运算量一直是个重要的命题很多研究者也对模型效率的提升作出了深入的研究例如对模型结构进行精细的改造。但这些方法往往要求对下游任务有深入的理解或者是需要大量的资源来进行网络进化的搜索。我们已经知道集成学习可以获得更好的精度那么只要能成功降低运算量是不是就可以做到又好又快了级联学习就是个很不错的方法。对于一个很简单的题目小盆友就可以准确地得出答案那我们也没有必要让所有砖家都和ta一起做一遍题对吧级联学习就利用这样的想法我们先让一些弱分类器对问题作出预测如果它有很高的置信度我们就可以相信他的答案这样就不需要用其他模型预测可以大大减少运算量。文中对每个分类器设定了一个置信度阈值这里他们使用概率最大类的得分作为预测的置信度当前第k个分类器的置信度超过阈值的时候我们就结束预测并给出前k个分类器集成的答案否则继续加入下一个分类器的结果。本文用两个弱分类器集成做实验。他们发现当第一个分类器的退出阈值不断提高在某个阈值之后集成模型的效果将达到平台可以认为这个平台是不加入提前退出的集成模型效果而平台的最左端与最右端比平均运算量有50%左右的降低。同时在用B3, B5, B5, 和 B5集成获得B7模型准确率的实验中他们发现这些模型的退出比例依次 67.3%, 21.6%, 5.6% 和 5.5%。也就是说对67.3%的情况我们只需要用一个B3模型就运算量可以获得B7模型的准确率而只有5.5%的情况需要运算所有四个模型来集成。这正说明了级联学习可以有效降低集成模型的预测运算量。▲cascade3.png准确率和运算量的精准控制仅仅减少运算量还不够模型上线的时候往往对准确率和运算量有着严格的要求。我们还可以用优化算法在满足一些条件的情况下找到最佳级联模型的设定。例如在满足运算量上限的同时获得更高的准确率。除了限定运算量之外还可以选择最低准确率最差情况运算量作为优化问题的限制条件。本文由于只选择较少的弱分类器使用暴力搜索来解这个优化这个问题。我们还可以通过更有效率的方法得到级联方案参考[6].没有多种模型可以自级联上述集成和级联方法都要求我们有多种设定的不同模型那如果我们只能训练一个模型呢借鉴Hugo Touvron, Andrea Vedaldi, Matthijs Douze, and Herve ́ Je ́gou. Fixing the train-test resolution discrepancy. In NeurIPS, 2019.的想法在预测的时候我们将不同清晰度的图片输入同一个模型从而达到多模型集成的效果。例如在下图表格的第一行B2中我们有一张图片使用240*240和300*300的两种分辨率的图片输入结果看作两个模型集成。从实验结果可以发现通过自级联的方法后在保持相似准确率的同时我们可以获得1.2-1.7倍的加速。总结本文探究并分析了结合集成和级联的方法简单有效地在提升模型准确度的同时降低了运算量。除了分类任务之外本文同样也验证了该方法在视频分类和图像分割任务上的有效性。整体而言本文并没有提出新的算法但是为我们提供了工程上线时低成本获得高精度模型的一种方案。个人认为本文的一大缺点在于如此级联预测会给并行提速增加难度原文作者也承认了这一点并指出该方法对离线预测更有效。本文虽然是在图像数据上做的实验但是集成和级联不局限于CNN迁移到NLP同样适用。萌屋作者Sherry 不是小哀。本科毕业于复旦数院转行NLP目前在加拿大滑铁卢大学读CS PhD。经历了从NOIer到学数学再重回CS的转变却坚信AI的未来需要更多来数学和自认知科学的理论指导。主要关注问答信息抽取以及有关深度模型泛化及鲁棒性相关内容。作品推荐无需人工无需训练构建知识图谱 BERT一下就行了Google Cloud TPUs支持Pytorch框架啦后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1]Multiple Networks are More Efficient than One: Fast and Accurate Models via Ensembles and Cascades (https://export.arxiv.org/pdf/2012.01988.pdf)[2]Bagging predictors. by Leo Breiman. P123–140, 1996.[3]The strength of weak learnability. by Robert E Schapire. P197–227, 1990.[4]A decision-theoretic generalization of on-line learning and an application to boosting. by Yoav Freund and Robert E Schapire.[5]Ensemble Methods in Machine Learning (https://web.engr.oregonstate.edu/~tgd/publications/mcs-ensembles.pdf)[6]Approximation Algorithms for Cascading Prediction Models (http://proceedings.mlr.press/v80/streeter18a/streeter18a.pdf)[7]知乎关于为什么要使用集成学习 https://zhuanlan.zhihu.com/p/323789069
