陇南建设网站,网站建设大作业选题,wordpress 开发框架,网站部署 模板来源#xff1a;微软研究院AI头条 概要#xff1a;1956年#xff0c;在达特茅斯会议之后#xff0c;包括很多国家政府#xff0c;美国国家科学基金会、军方#xff0c;大家满怀希望投了很多钱。但是到1975年以后发生了几件事情#xff0c;让AI进入了寒冬。 谈AI的历史微软研究院AI头条 概要1956年在达特茅斯会议之后包括很多国家政府美国国家科学基金会、军方大家满怀希望投了很多钱。但是到1975年以后发生了几件事情让AI进入了寒冬。 谈AI的历史需要谈谈很有名的AI寒冬。 第一次AI寒冬是在1975年左右。1956年在达特茅斯会议之后包括很多国家政府美国国家科学基金会、军方大家满怀希望投了很多钱。但是到1975年以后发生了几件事情让AI进入了寒冬。 第一件事是因为AI只能解决Toy domain摆弄玩具一样的简单任务。那个时候做语音只有10个词汇下象棋大概是20个词汇做视觉的人都不能辨认出一个椅子。第二件事情1956年美国打越战还有石油危机所以经济也不是那么好还有一个很有名的英国学者Lighthill说AI就是在浪费钱AI的研究经费也因此遭到大幅削减。 到1980年开始有些公司如IBM开始做一些专家系统可以说也是有限的应用。尽管有一些缺点但还是可以做一些事情据说有十个亿的产出。因此AI也就开始回春。我也是这个时候开始进入AI所以也蛮幸运的。 我是80年代去美国CMU卡内基梅隆大学的。我记得当时日本很有钱到处在美国买楼、建实验室所以当时日本提出了一个第五代电脑系统计划5th generation computer systemsFGCS。当时还有公司专门做 Lisp Machines通过硬件支持为了有效运行Lisp程序语言而设计的通用电脑。就有点像今天DNN红大家都在做DNN芯片那时候大家都在做Lisp MachinesThinking ( Connection ) Machines然后神经网络也刚开始发芽。 不过到1990年中AI又第二次遇冷为什么会这样因为第五代计划失败Lisp Machines和Thinking ( Connection ) Machines都做不出来而神经网络虽然有意思但并没有比其他一些统计的方法做得好反而用的资源还更多所以大家觉得也没什么希望了于是AI又进入第二个冬天。 1990年代统计路径的显现 差不多在冬天这个时刻统计的方法使用数据的方法出现了。 AI在1990年以前都是用所谓的研究人脑的方式来做而我们有太多理由来相信人脑不是靠大数据的。比如给一个小孩子看狗和猫看几只他就可以辨认了。可用今天的方法要给计算机看几十万、几百万只狗跟猫的图片它才能辨认是狗还是猫。用大数据这种方法就在第一次AI寒冬和第二次AI寒冬之间开始萌芽。虽然AI是一批计算机科学家搞出来的但事实上有跟AI极其相关的一门知识叫模式识别。模式识别一直以来都由工程师在做从1940年代统计学家就在做模式识别。 我们这代人学计算机就知道两个人一个人叫傅京孙K. S. Fu另外一个人叫窦祖烈Julius T. Tou。如果AI选出60个人的名人堂里面会有一个叫傅京孙那是大牛。傅京孙严格上来讲他不算做AI的但是可以包括进来因为他也做模式识别。模式识别里面也有两派一派叫统计模式识别Statistical Pattern Recognition一派叫做句法模式识别Syntactic Pattern Recognition。80年代的时候句法是很红的统计的无人问津后来1990年以后大家都用统计。 我们做语音的人很清楚后来引入了隐马尔可夫模型Hidden Markov Model都是统计的方法到今天还是很有用。尤其是在华尔街做金融投资做股票很多都是做时间序列time series data而隐马尔可夫模型这个东西是很强大的。甚至可以说统计的方法是我们做语音的人发展起来的。而且早在1980年我们做语音的人就讲出这句话“There is no data like more data没有什么样的数据比得上更多的数据”。从现在的角度来看这是非常前瞻性的而且就是大数据的概念。我们那个时代的数据量无法和现在相比但我们已经看出来了数据的重要。而且IBM在这方面是了不起的他们一个做语音的经理有次说每次我们加一倍的数据准确率就往上升。 决策树也是第一个被语音研究者所使用。然后就是贝叶斯网络Bayesian Network几年前红得不得了当然现在都是用深度学习网络deep neural network, DNN在输入和输出之间有多个隐含层的人工神经网络了。我为什么要提这些东西今天我觉得很多人上AI的课可能75%、80%都会讲DNN其实AI还是有其它东西的。 今天要教AI也是非常困难的。我还特别看了一下最近的AI教科书。学术界教AI还会教这些东西但是如果去一般或者大多数公司全部都是在讲DNN。我觉得现在找不到一本好的AI教科书因为早期的书统计没有讲或者没有讲DNN。我也看了下加州大学伯克利分校的Stuart J. Russell 跟Peter Norvig写的教科书《Artificial Intelligence: A Modern Approach》里面DNN提了一点。可能现在也不好写AI因为AI提了这么多东西人家说根本没用不像DNN的确很有用。 我稍微解释一下DNN和一般统计方法的差别。统计的方法一定要有一个模型但是模型一定是要有假设。而你的假设多半都是错的只能逼近这个模型。数据不够的时候一定要有一定的分布。当数据够了DNN的好处是完全靠数据就可以当然也需要很大的计算量。所以DNN的确有它的优点。以前我们用统计的方法做还要做特征提取用很多方法相当于做了一个简易的知识表示现在用DNN连特征提取都不用做了只用原初数据进去就解决了。所以现在讲AI不好讲的原因是DNN讲少了也不对讲多了的话说实在的全是DNN也有问题。 神经网络的起伏 最早的神经网络叫感知器Perceptron跟第一个寒冬有关。因为一开始的感知器没有隐含层hidden layer也没有激活函数activation function结果Marvin Minsky和Seymour Papert这两位就写了一本书《感知器》说感知器连异或XOR都做不出来。那么做感知器还有什么用所以基本上就把整个神经网络第一代的进展扼杀了。 感知器连最简单的逻辑运算“异或”都无法做到某种程度上导致了AI的寒冬 其实后来人们发现误会了其实书并没有说的那么强不过的确造成了很大的影响。一直到1980年做认知心理学的人代表性的如Rumelhart和Hinton才复兴了AI。 Hinton早期是做认知心理学的。Hinton先在UCSB加利福尼亚大学圣巴巴拉分校后来到了CMU。Rumelhart, Hinton and McClelland 复兴了多层的感知器加了隐含层以及back-propagation 算法这个时候神经网络就复兴了。而且神经网络只要加上隐含层事实上只要加一层再加上激活函数就可以模拟甚至还有人证明可以模拟任意的函数所以神经网络一下子就变的红了。卷积神经网络Convolutional neural networkCNN那时候就开始出来了然后是递归神经网络Recurrent neural networkRNN。因为如果要处理过往的历史有存储, 就需要回溯。用于语音和自然语言处理的时间延迟的神经网络Time-Delayed NNTDNN 也都有了。 不过那时候数据不够多。数据不够多就很容易以偏概全。第二个因素是计算的资源不够所以隐含层也加不了太多。这样神经网络虽然大家都很有兴趣也能够解决问题但是却有更简单的统计方法如支持向量机Support vector machineSVM能够做到一样或者略好。所以在1990年代就有了AI的第二次冬天直到DNN的出现才又复苏。 AI的复苏 AI的复苏可能要从1997年开始说起。1997年深蓝打败了国际象棋冠军Garry Kasparov。这里我要提一下一个人叫许峰雄。他当时在CMU做一个当时叫做深思deep thought的项目基本上架构都有了。结果IBM非常聪明。他们到CMU参观看到许峰雄这个组。然后也没花多少钱就买下了这个组让这些人到IBM做事。IBM当时就看到在五年之内就可以打败世界冠军其实真正的贡献都是在CMU做的。许峰雄后来也离开了IBM加入了我们一直做到退休。AI的复苏实际上才刚开始。有人说这个也没有帮助到AI复苏因为深蓝可以打败国际象棋的冠军也不是算法特别了不起而是因为他们做了一个特殊芯片可以算得很快。当然AlphGo也算得很快算得很快永远是非常重要的。 到了2011年IBM做了一个问题回答机器叫沃森Watson打败了Jeopardy游戏的冠军。Jeopardy这个游戏有一点像记忆的游戏问一个常识的问题给四个选项。其实沃森打败人也没什么了不起的。 到2012年AI的复苏就已非常明显。机器学习和大数据挖掘变成了主流几乎所有的研究都要用虽然还不叫AI。事实上很长一段时间包括我们做语音和图像对外都不讲AI。因为AI这个名字那时变得有点名声不好。人们一说起AI就是不起作用。第二次AI寒冬的时候只要听说某个人是做AI那就认为他做不成。其实机器学习也是AI的一支。 现在回到深度学习有三个人物对深度学习做出了很大贡献。第一位Hinton。这个人非常了不起。了不起之处在于当没有人在乎神经网络的时候他还在孜孜不倦的做这个东西。第二个做CNN的人物是Yann LeCun。他也是做CNN一辈子在AI冬天的时候继续做所以今天很多CNN该怎么用来自于Yann LeCun。另外一个叫做Yoshua Bengio。 所以今天讲到DNN、讲到AI没有前人的种树就没有后人的乘凉。这61年的发展这些辛苦耕耘的人大家需要记住这些人。今天在台面上讲AI的人都是收成果实的人讲自己对AI有什么贡献我觉得就太过了。 还有一个跟AI有关的大家记得Xbox几年前有一个叫Kinect可以在玩游戏的时候用这个东西我觉得这是第一个发布的主流的动作和语音感知设备。当然之后就有2011年苹果的Siri2012年Google语音识别的产品以及微软2013年产品这些都是AI的复苏。直到2016年AlphaGo打败了李世石打败了柯杰AI就彻底复苏了。 今天的AI DNN、DNN还是DNN。我不是有意要贬低DNN的重要性但如果说DNN代表了所有的智慧也言过其实。DNN绝对非常有用比如计算机视觉会有CNN自然语言或者语音的就有RNN长短时记忆Long Short-Term MemoryLSTM。计算机视觉里面有一个图片集ImageNet。我们很荣幸在几乎两年前微软在该图片集上辨认物体可以跟人做得一样好甚至超过人。 语音也是一样微软在差不多一年前在Switchboard任意的一个任务里面也超过了人类。机器翻译我相信大家都常用可能是每天用。甚至看起来好像有创造性的东西也出现了比如小冰可以写诗。我也看到很多电脑画出来的画电脑做出来的音乐都表现的好像也有创造力一样。 不过虽然AI很红机器学习大数据大家都听过特别是做学问的人还听过大数据挖掘那么这三者有多大的差别我常说这三个东西不完全一样但是今天这三个的重复性可能超过90%。所以到底是AI红还是大数据红呢还是机器学习红呢我觉得有那么重要吗
