校园网站建设的重要性,网页设计流程顺序,学生创意设计作品说明,怎么用自己的主机做网站服务器吗来源#xff1a;混沌巡洋舰华为年薪百万招聘的机器学习博士#xff0c;其中一个的研究方向就是AutoML,今天借着最新的综述#xff0c;来对AutoML进行简要的概述。机器学习是让算法自动的从数据中找出一组规则#xff0c;从而提取数据中对分类/聚类/决策有帮助的特征#x… 来源混沌巡洋舰华为年薪百万招聘的机器学习博士其中一个的研究方向就是AutoML,今天借着最新的综述来对AutoML进行简要的概述。机器学习是让算法自动的从数据中找出一组规则从而提取数据中对分类/聚类/决策有帮助的特征随着机器学习的发展其中人工需要干预的部分越来越多而AutoML则是对机器学习模型从构建到应用的全过程自动化最终得出端对端的模型end to end。有了AutoML机器学习就会从下图的曲折变为上图的一马平川。从流程先后顺序来分最初是数据准备包括数据收集和清洗之后是特征工程其中包括特征选择决定哪些特征需要保留特征提取对特征进行降维常用的方法例如PCA特征组合将多个特征合并/构建为一个新的特征在之后的模型构建中最关键的是模型选择之后超参数优化可以采取很多方式最简单的做法是网格搜索常用的方法包括用强化学习进化算法贝叶斯优化以及梯度下降来缩小搜索空间最后AutoML通过引入提前停止降低模型的精度参数共享来自动化模型评价的过程。数据收集这项任务不在是搜索与收集真实数据还包括产生模拟数据用来扩展训练数据集可以使用的新技术包括对抗神经网络点击查看对应文章还可以使用强化学习的框架来优化用于控制生成数据的参数从而使得生成的数据能更有效的助力模型的训练。而数据清洗则是自动完成包括缺失值补全离群点处理特征归一化类别型特征的不同编码等之前手动完成的工作。模型的自动化选择传统的方法是从传统的模型例如KNNSVM决策树中选出一个或多个组合起来效果最好的模型而当前AutoML的研究热点是Neural Architecture Search 也就是不经过人工干预模型自动生成一个对当前任务最有效的网络结构如下图所示图中的每一个圆圈代表一个操作例如卷积池化批量正则化等模型自动在自我生产的不同结构下搜索最好的操作组合序列。搜索的结果如下图所示其中应用到强化学习的部分如下图所示这里的行为是以一定的概率选择某个网络结构行为是在该结构下训练子网络使其在训练集上达到预设的准确率奖励是该子网络在测试数据集上的准确率与该网络被选择的概率的乘积通过将子模型的泛化能力作为反馈用于控制不同模型被选择概率的RNN得以优化其梯度以选出泛化能力最强的模型同时通过始终保持一定概率选择其他模型处理explore VS exploit的权衡。NAS算法作为当前AutoML最热的研究领域有很多变种下图展示了在CIFAR1000上不同NAS方法的效果及训练用时。相比于强化学习和进化算法传统方法的用时更少。为了找到合适的网络架构除了传统的串行网络还有基于cell来做层级化网络架构搜索的。下图展示的是先从几个最基本的操作搜索得出一个一级的网络组件之后在自动化的搜索如何用一级组件搭建网络。模型选定后的调参过程最常用的是网格搜索也就是按照固定的间距在搜索空间上打点但下图指出网格搜索不一定好过随机搜索原因是对于重要参数网格搜索采样的点会不足从而导致无法取到对模型效果相对较好的点autoML会使用随机抽样首先评价各个超参数的重要性之后再对重要的参数进行微调。另一种超参数搜索的策略是进化算法从初始随机产生的参数经过杂交将俩组参数的前后部分组合并对其加上随机噪音形成子代的超参数在依据模型在改组超参数上的训练结果作为反馈选出其中效果较好的超参数最后举一个AutoML的例子用一个函数搞定整个机器学习流程使用的是H2O这个常用的AutoML包任务是对fashionMinst这个数据集进行分类运行完成后函数会返回所尝试各模型的准确度以及每个模型的最佳参数由于模型尝试的深度学习是全连接网络因此效果不好如果使用CNN可以将模型的准确度提升到0.92张亚勤、刘慈欣、周鸿祎、王飞跃、约翰.翰兹联合推荐这是一部力图破解21世纪前沿科技大爆发背后的规律与秘密深度解读数十亿群体智能与数百亿机器智能如何经过50年形成互联网大脑模型详细阐述互联网大脑为代表的超级智能如何深刻影响人类社会、产业与科技未来的最新著作。《崛起的超级智能;互联网大脑如何影响科技未来》2019年7月中信出版社出版。刘锋著。了解详情请点击【新书】崛起的超级智能互联网大脑如何影响科技未来未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文
