对网站建设公司说,网站设计到底做多宽,国外商业网站设计,太原企业自助建站来源#xff1a; 北京智源人工智能研究院2019年11月1日北京智源大会全体大会及闭幕式上#xff0c;被誉为“机器学习之父”的加州大学伯克利教授、智源研究院学术顾问委员会委员 Michael I.Jordan 做了题为《决策与情境#xff1a;基于梯度的博弈均衡求解方法》#xff08;… 来源 北京智源人工智能研究院2019年11月1日北京智源大会全体大会及闭幕式上被誉为“机器学习之父”的加州大学伯克利教授、智源研究院学术顾问委员会委员 Michael I.Jordan 做了题为《决策与情境基于梯度的博弈均衡求解方法》Decisions and Contexts: On Gradient-Based Methods for FindingGame-Theoretic Equilibria的主题演讲。这个演讲报告既“高屋建瓴”Michael I.Jordan 将机器学习的前世今生划分为四个时代指出正在到来的第四代机器学习实践层面将是与智能市场系统的融合理论层面将是机器学习与经济学等的融合同时也“脚踏实地”Michael I.Jordan 介绍了一系列他们在第四代机器学习视角下的研究进展包括鞍点逃逸、算法加速以及基于博弈均衡机制的“多臂赌博机”等。 下面是关于Michael I.Jordan演讲的精彩要点介绍。 机器学习的四个时代首先作为“机器学习之父”Michael I.Jordan 以化学工程、电器工程的历史发展作为参照案例来解读他理解中的机器学习。在上世纪20、30年代前世上还没有“化学工程”这门学科那时候的化学学科仅仅是关于实验室里用试剂做实验的内容。直到后来伴随着量子科学的发展、化学工厂以及相关产品的涌现才出现了化学工程。电气工程学的前身是一些电子公式但无法回答研发电路以及实现城市电气化等问题随着人们开始思考抗阻模块、线路等便诞生了电子工程学。 Michael I.Jordan 认为机器学习的发展遵循着和上面两种学科类似的理论和实践结合路径它将传统的统计、算法和推理整合在一起同时也是工程学的拓展涉及了人类决策、数据分析等方面的设计和系统应用它的目标并不是取代人类也不仅仅是人工智能而是将人和机器系统融合在一起包括它将整合包括统计学家、计算机科学家以及经济学家等各类人才的聪明才智来应对、解决来自社会层面的各种挑战。 具体来说机器学习自诞生后的几十年里鲜有突破主要涉及数据分析和人类决策而自上世纪90年代后机器学习的历史发展可划分为如下四个时代。 第一代机器学习1990~2000年主要应用是欺诈检测、检索和供应链管理等。欺诈检测主要是应用于电商领域通过机器学习来鉴别、降低诈骗。比如当时在亚马逊的信用卡诈骗率曾一度是1%-3%因此亚马逊开始使用云计算机系统结合数据及不同算法比如随机森林Random Forests简称RF使诈骗率降到1%以下。之后亚马逊开始在整个供应链和物流上利用机器学习进行建模因为在跨境运输条件下一条有效的供应链能保证产品即使在面临台风的情况下依然能准时准确送达这便需要大量的数据分析及各种测算。 第二代机器学习2000~2010年开始涉及人类层面的研究以推荐系统、社交媒介系统等为代表。这个阶段我们拥有的大数据不仅仅涉及如跨洋运输供应链等产品层面的信息也内嵌了可供分析“消费者购买原因”的数据内容。比如两个人购买了同一本书我们基于此进行分析然后将这本书推荐给另一个还没有购买的潜在客户。于是推荐系统的研究带来了巨大的行业影响比如阿里巴巴、亚马逊等都采用了这样的机器学习应用并进一步发展了价值几十亿资产的行业。 第三代机器学习2010年至今模式识别应用以语音识别、计算机视觉、机器翻译等为代表。此时我们可以模拟人类的智能或者说可以模仿人类某一方面的智能。我们主要通过数据分析来进一步分析人类智能但并不意味着现在计算机能够捕捉所有的人类思考。计算机还需要很久的时间才能像人类一样聪明。 第四代机器学习正在到来机器学习融合市场。市场相当于一种去中心化的算法系统将消费者和商品紧密连接把人、数据和现实中的问题和需求进行整合成为一个可以创建经济新业态的平台比如Uber中国的滴滴等。这些市场算法系统和宏观经济的一些原则相类似必须借助大数据分析并扩大应用规模这样才能产生更大的效果这个市场系统可以在不同的尺度、规模下运作适应性强可长时间运行用户可以自由下载进入的软件。当然这些环节中计算机并没有代替人类而是作为整个系统的一个总控。Michael I.Jordan认为迄今为止机器学习构建智能市场系统的使命远未完成包括还没有实现将机器学习和经济学包括经济统计学、经济测量学等紧密结合在一起。 第四代机器学习中的研究进展Michael I.Jordan 近十年来主要从事于“第四代机器学习”中决策方向的相关研究包括创造市场的统计系统、分散决策的错误控制、管理边缘云端交互等。如下图第四代机器学习研究问题范例 他关于决策问题的一个重要论断是机器学习必须要考虑“因果关系”只有这样才有可能进行大规模的工程应用比如无人驾驶决定是否加速或停止这不仅仅是一个阈值和输出的问题而是要综合考虑周围汽车、街道状况后才能做出决定。 接下来Michael I.Jordan介绍了他们团队最近取得的两项重要研究进展。 第一项研究是关于如何有效避开鞍点的问题。鞍点是深度学习中非常棘手、大量存在的问题它会导致学习曲线变平。我们经常会看到一个学习曲线下降很快之后很久都是平的这便是鞍点的表现尽管它最终会脱离鞍点继续下降但在现实实践中我们往往要处理高维下降到低维问题此时会遇到十多万甚至上百万的维度干扰路径选择用传统的梯度下降法来逃离鞍点会十分耗费时间。因此 Michael I.Jordan 团队在成员 Chi Jin 的主持研究下提出了一个高效率摆脱鞍点的方案。MichaelI.Jordan 介绍说“我们引入海森-利普希茨性质(如下图)很明显二阶驻点是一阶驻点的扩展这个梯度同样趋近零且不等于零同时海森矩阵的最小特征值不严格大于等于零。我们给自己放松了一个小区间可得到了一个收敛速度所以可以测试达到二阶驻点速度有多快。这个算法被命名为扰动梯度下降本质是在一般梯度下降算法的情况下偶尔增加一些随机噪音。”扰动梯度下降算法原理关于这个算法背后的几何原理如下图鞍点周围相当于是一个饼状区域我们如果进入这个区域会被困在里面在鞍点上停留很长时间这时候如果有一些随机扰动会把我们从鞍点区域踢出去以确保不会一而再再而三地陷入困境这个理论就是关于如何高效率地远离这个饼状区域。 扰动梯度下降算法的几何图解 第二项研究进展是关于加速算法了解加速时会发生的状况及最快运行速度。同时 MichaelI.Jordan 认为在一个离散的点上更快并没有太大意义而是要根据整个持续的连续体来看究竟能多快。MichaelI.Jordan 的两个学生花了三年时间研究出通过变分、哈密顿和辛集成的视角来做加速。首先他们发现如下图最下面的两个公式可以比传统方式运行得更快。梯度下降的加速算法 后来发现拉格朗日函数如下图优化一下便能实现最快速度这是目前能实现的最好结果。函数中有一个布雷格曼散度Bregman Divergence它依赖于速度这个公式孕育出很多加速算法。Michael I.Jordan 团队还发现布雷格曼拉格朗日函数Bregman Lagrangian在几何学方面具有很好的一致性这意味着不管用什么速度都可以在一个持续时间当中来实现这个速度但假如把持续时间和不同公式输入到电脑中逆转推算却无法实现。图5布雷格曼拉格朗日函数 接下来是辛集成Symplectic Integration如下图它是目前最好的算法也很稳定。我们可以用特殊方式进行加速利用拉格朗日函数、汉密尔顿函数进行表征来解决其他许多问题。辛集成 目前在加速和鞍点方面的问题中Michael I.Jordan团队做了进一步的研究尝试用汉密尔顿函数分析如下图的方式来解决就是先把汉密尔顿函数分解分别研究然后再组合到一起得到一个综合分析。汉密尔顿函数分析下面的加速算法如下图是针对一个非凸点问题的它可以跟汉密尔顿函数相结合或许能验证加速、帮助通过鞍点。针对非凸点问题的算法加速未来十年的研究方向市场与科学、决策的整合闭环展望未来十年的研究方向Michael I.Jordan 表示他们将专注于科学和数学将市场与科学、市场与决策整合建立一个闭环链条。Michael I.Jordan 团队目前正在实验中的一个项目叫多臂赌博机(Multi-Armed Bandits)这种赌博机的游戏规则简单来讲就是假设有A到K的选项选择一个选项后得到奖励之后进一步增加得分把得分最大化。这个项目中的成果已经在AB测试、药品研发等诸多领域中应用它内蕴的博弈逻辑实际上已经渗透到现在的市场经济各种现象之中。按 Michael I.Jordan 的观点对于一个有买方、卖方的匹配市场就会存在供需匹配和排序的问题比如很多人选择同一家餐厅便需要对空间进行限制比如两人选择了同样的座位后来者就像AB测试那样输掉当然输者就会后悔自己的决策。为此Michael I.Jordan团队已经在建立一个名叫 Bandit Markets 的数学理论用以验证算法、降低后悔量。这个算法叫做 Gale-Shapley。 最后回归到决策问题Michael I.Jordan 介绍了他们在算法上的一个最新进展。从统计学的角度来说决策问题好比这张二乘二表中如下图中0和1的假设如何测量决策成功呢如果现实是1实现预测也是1或者规避现实是0、预测是1的情况传统的方式就对专一性和高敏感度进行优化但这种方式当数据集里发现项假的比较多时很难有好的效果。 二乘二表模拟决策 因此 Michael I.Jordan 团队提出了贝叶斯过滤算法来控制的方案如下图这个算法公式可以用来展示假的发现项。贝叶斯算法的过滤方案 以上是 Michael I.Jordan 团队用机器学习结合统计学、市场决策等在推进第四代机器学习时代的过程中近年来所取得的一些研究进展。Michael I.Jordan 作为机器学习领域的泰斗级人物其历史和行业视野的前瞻性洞察和研究工作的细致入微的紧密结合透过这场报告呈现得淋漓尽致相信能给我们人工智能领域科研者、从业者们带来不少有益的启发。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
