idc网站源码,免费浏览的网站入口,wordpress门户信息主题,网站网页访问权限来源#xff1a;机器之心LSTM 之父 Jrgen Schmidhuber 再次掀起争论#xff0c;这回他指向了深度学习之父、图灵奖得主 Geoffrey Hinton。不过#xff0c;这次他站出来质疑的是 Hinton 的最新奖项——本田奖。创立于 1980 年的本田奖旨在表彰「为引领生态技术领域的下一代新… 来源机器之心LSTM 之父 Jürgen Schmidhuber 再次掀起争论这回他指向了深度学习之父、图灵奖得主 Geoffrey Hinton。不过这次他站出来质疑的是 Hinton 的最新奖项——本田奖。创立于 1980 年的本田奖旨在表彰「为引领生态技术领域的下一代新知识而做出贡献的个人或团体」。2019 年Geoffrey Hinton 获得本田奖获奖理由是「为将人工智能AI广泛应用于多个领域所做的先驱性研究以及实用化推进」。然而昨日计算机科学家 Jürgen Schmidhuber 发文批判这一事件认为 Hinton 不应该获得该奖项。他表示「不要把发明者弄错人了」并直呼「奖项并不能改变事实」。Jürgen Schmidhuber 在推特上表示「不要弄错新技术的发明者。至少在科学领域中真相终将显现。真相没有显现只能说明时候未到。奖项无法改变事实。」Jürgen六大理由Hinton 不应该获本田奖Jürgen 首先承认Hinton 的确在人工神经网络和深度学习领域做出了突出的贡献。但是本田奖却将 Hinton 未引用的其他研究者的基础性发明归功于他。科学不允许企业 PR 来扭曲科研学术记录。有理有据Jürgen 在正文中一一列举了他认为 Hinton 不应获得本田奖的 6 大理由。理由 1现代反向传播不是 Hinton 发明的本田奖在公告中表示Hinton 发明了很多方法并由此推动了人工智能的更广泛应用其中就包括奠定了人工智能深度学习方法基础的反向传播算法。Jürgen 则认为现代反向传播是由 Linnainmaa 在 1970 年首先提出来的之后 Rumelhart、Hinton 和 Williams 才在 1985 年提出并且 Hinton 只是第二作者。此外Ivakhnenko 的深度前馈网络1965早在 Hinton1980 年代之前就能够学习内部表征了而且 Hinton 提出的网络深度不如前者。理由 2Hinton 的无监督预训练并没有促成当前的深度学习革命本田奖在公告中表示Hinton 在 2002 年发明了一种用于有限玻尔兹曼机的快速学习算法使得它们无需任何标注数据即可学习到单层分布式表征。这些方法使深度学习有了更好的性能表现并促成了当前的深度学习革命。Jürgen 则表示他早在 1991 年就提出了用于深度神经网络的无监督预训练而 Hinton 在 21 世纪初提出的类似无监督预训练只是一种概念上的「旧方法重用」罢了。并且这也与 2010 年之后出现的深度学习革命毫不相干。相反深度学习革命的出现主要基于监督学习而 Jürgen 在 IDSIA 研究所的团队曾分别于 1991-95 和 2006-11 两个阶段开展了由无监督预训练转向纯监督学习的研究。理由 3Hinton 的多层神经网络并未极大地改善语音识别效果CTC-LSTM 才有用本田奖在公告中表示2009 年Hinton 和他的两个学生提出使用多层神经网络在语音识别领域取得重大突破由此极大地提升了语音识别的效果。Jürgen 表示首个表现良好的端到端神经语音识别基于他所在 IDSIA 研究所提出的两种方法即 LSTM20 世纪 90 年代-2005 年和 CTC2006 年。但是Hinton 等人在 2012 年仍然使用 20 世纪八九十年的老旧混合方法其性能表现无法与革命性的 CTC-LSTM 同日而语。理由 4Hinton 并非最早将深度学习应用于计算机视觉的人本田奖在公告中表示2012 年Hinton 与他的两名学生证明了深度学习在图像目标识别领域远远优于当时的 SOTA 方法进而促使计算机视觉领域出现革命性进展。自从 2011 年以来深度学习在计算机视觉领域的统治地位不言而喻据我们所知这一地位的确立与 Hinton 学生 Alex Krizhevsky 在 2012 年提出的深度卷积神经网络模型 AlexNet 密不可分。但 Jürgen 指出他在 IDSIA 的团队比 Hinton 更早地将深度学习技术应用于计算机视觉领域。2010 年IDSIA 团队提出通过简单的反向传播GPU 可用于训练深度标准有监督神经网络模型相比 CPU 实现了 50 倍的加速打破了长期以来的 MNIST 基准记录。2011 年IDSIA 团队将这种方法扩展到了卷积神经网络CNN上相比基于 CPU 的 CNN基于 GPU 的 CNN 训练速度实现了 60 倍加速。而后IDSIA 团队创造了首个纯粹基于 GPU 的深度 CNN并在 2011 年到 2012 年期间的多项国际计算机视觉竞赛中胜出引起了业界的广泛关注指明了计算机视觉领域新的发展方向。Jürgen 认为这一方向显然并不是 Hinton 奠定的。理由 5Hinton 发明的「dropout」只是 Hanson 随机 delta 规则的变体本田奖在公告中表示Hinton 发明了广泛使用的「dropout」方法这种方法通过阻止特征检测器feature detector出现复杂的互适应进而减少神经网络中的过拟合。Jürgen 则认为「dropout」方法实际上是 Hanson 于 1990 年提出的随机 delta 规则stochastic delta rule的变体并且 Hinton 2012 年发表的论文《ImageNet Classification with Deep Convolutional Neural Networks》中并没有引用 Hanson 的方法。理由 6Hinton 被过分地夸大了现在大多数基于 AI 的服务都是基于自己的 DL 技术本田奖在公告中表示如果没有 Hinton 所取得的一系列科研成果世界上大多数基于人工智能的技术服务则无法实现这一点毋庸置疑。Jürgen 则认为2010 年代世界上大多数基于人工智能技术的服务包括数十亿台设备上的语音识别、语言翻译等功能都是基于他们的深度学习技术而不是 Hinton 的。Hinton 一再重复自己对现有基础技术的贡献但正如猫王埃尔维斯·普雷斯利所说「真相就像太阳你可以让它暂时缺席, 却不能让它永远消失。」Jürgen 对 Hinton 的批评也引发了 reddit 网友的热烈讨论。对于「如何判断新发现/idea 的归属」以及 Jürgen 给出的每一条理由大家也发表了不同意见。激烈的争论又一次展开有网友表示Jürgen 对「研究者功劳」的执著这不是 Jürgen 第一次就研究发现的功劳发表看法。提到 Jürgen Schmidhuber我们自然会想到关于「谁是 GAN 初创者」的那桩公案。Jürgen 一直认为 GAN 是其 PM 模型1992的变体他与 Ian Goodfellow 从邮件到演讲展开了多次公开交流。去年Jürgen 还独立发表了一篇综述论文再一次概览了极小极大博弈以及 PM 模型与 GAN 之间的强关联。时间追溯到 2015 年《自然》杂志发表了一篇介绍人工神经网络NN的文章《Deep Learning》它是深度学习的一篇标志性文章目前引用量已经达到了 24621。这篇文章由 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 三人合著从当下的卷积、循环和反向传播算法等核心概念概览了深度学习并表示无监督学习、深度学习结合强化学习等方向才是发展趋势。Schmidhuber 在当年的一篇批判性文章中表示作者在这篇文章中引用了很多自己的研究工作而忽视了半个世纪以前开创领域的先驱者。看来 Jürgen 对「划分研究者的功劳」很是看重这引起了一部分社区成员的认同。2018 年图灵奖颁发给三位人工智能先驱 Bengio、Hinton 和 LeCun 后就有不少人认为 Jürgen 也应该获此奖项。但在关于这次批评的讨论帖下面我们也看到了这样的言论Jürgen 应当和 Bengio、Hinton 和 LeCun 一样获得图灵奖。但如果没有这三位先驱的工作我们还在用 sigmoid 激活函数和启发式方法训练全连接神经网络深陷于局部极小值的泥沼中呢。参考链接http://people.idsia.ch/~juergen/critique-honda-prize-hinton.htmlhttp://people.idsia.ch/~juergen/deep-learning-conspiracy.htmlhttps://www.hondafoundation.jp/winner/view_en/1330https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
