银川市住房和城乡建设网站,墨刀可以做网站原型图吗,苏州网站优化推广,不良网站举报中心官网李飞飞带领的斯坦福“以人为本AI研究院”发表文章#xff0c;探讨人工智能、神经科学、心理学和认知科学#xff0c;以及数学、物理和社会科学等学科过去是怎样、以及未来将如何共同合作#xff0c;追求对理解和创造智能系统的探索。最初的类人智能出现在几百万年前的非洲大…李飞飞带领的斯坦福“以人为本AI研究院”发表文章探讨人工智能、神经科学、心理学和认知科学以及数学、物理和社会科学等学科过去是怎样、以及未来将如何共同合作追求对理解和创造智能系统的探索。最初的类人智能出现在几百万年前的非洲大陆并持续进化最终在大约 10 万年前在我们人类这一物种——智人的大脑中达到顶峰。作为现代人类我们只能想象我们远古的祖先凝视夜空思考物质现实的本质内省地窥视自己的内心思考自己的心理现实本质时的感受。在过去几百年里我们人类通过发现控制空间、时间、物质和能量行为的基本数学规律在对物理现实 (physical reality)的精确理解方面取得了巨大的智力进步。这些基本数学规律现在被编纂在量子力学和广义相对论的大框架中。然而在探索心理现实 (mental reality)本质方面我们仍刚刚开始。特别是人类智能是如何从由 1000 亿个神经元通过 100 万亿个突触连接而成的生物有机体中产生的神经科学、心理学和认知科学等现代学科在过去 100 年里取得了许多重要进展为攻克这个大问题奠定了基础。事实上正如奥巴马在 2013 年宣布美国大脑计划 (United States Brain Initiative) 时所解释的那样“揭开我们两耳之间三磅重物质之谜”的时机已经成熟。但是当涉及到我们自己的心智能力时对于现代人来说仅仅理解它们是不够的。我们也非常希望在无生命的系统中重建这些能力这些系统有时是以我们自己的形象为基础构建的。从本质上说人类作为进化的产物有时渴望扮演创造者的角色。从玛丽 · 雪莱的《弗兰肯斯坦》到艾萨克 · 阿西莫夫的《我机器人》这种渴望渗透在人类文学作品中。事实上人工智能 (AI) 这一新兴领域经常与神经科学、心理学和认知科学领域合作在创造具有某些类人能力的机器方面取得了巨大进展。在这篇文章里我将进一步探讨人工智能、神经科学、心理学和认知科学以及数学、物理和社会科学等学科过去是怎样、以及未来如何共同合作追求交织在一起的对理解和创造智能系统的探索。生物智能与人工智能之间的合作在过去的 60 多年里AI 深受神经科学和心理学的影响并且确实受到神经科学和心理学的启发。早期许多 AI 从业者在神经科学和心理学方面做了一些很好的研究。这里我列举了神经科学、心理学和人工智能之间相互影响的一些事实由相对简单的元素 (神经元) 组成的分布式网络能够完成源自神经科学、如今以神经网络形式渗透到现代人工智能系统中的人类智能的惊人计算。这一观点并不总是显而易见的直到大约一百年前在高尔基和卡哈尔之间著名的辩论之后这一观点才变得坚定起来。各种降维技术包括多维尺度和因子分析最初是在心理测量学研究的背景下发展起来的。著名神经学家赫拉斯 · 巴洛 (Horace Barlow) 提出了分解代码的思想这一思想反过来又启发了独立分量分析 (ICA) 和当前的 AI 研究旨在解开数据变异的独立因素。托尔曼对认知地图的研究提供了证据证明即使是老鼠也能形成对世界的心理模型并能利用这些模型进行规划和导航。这巩固了内部模型形成是动物智能的关键组成部分这一观点这是目前人工智能研究的前沿。Hopfield network 是理论神经科学的一个模型为思考分布式、结合存储的存储器和检索提供了一个统一的框架也启发了玻耳兹曼机这反过来又为证明深度神经网络模型的成功提供了关键的一步并启发了许多弱约束的分布式满足作为 AI 计算模型的想法。目前主宰机器视觉的深层卷积网络的关键组成部分直接受到大脑的启发。这些成分包括腹侧流的分层视觉处理表明深度的重要性视网膜拓扑映射 (retinotopy) 作为整个视觉皮层的组织原理的发现启发了卷积简单和复杂的细胞的发现启发了如最大池化等操作以及皮层内神经归一化的发现推动了人工网络中的各种归一化阶段。将稀疏编码作为理解初级视觉皮层中定向边缘检测器起源的一种尝试而进行的开创性工作这启发了将稀疏编码作为现代人工智能系统的基本构建块。像时序差分学习 (temporal difference learning) 这样的算法现在已经成为强化学习的基础其灵感来源于经典条件反射的动物实验。反过来强化学习对基底神经节手术的解释产生了巨大的影响其中多巴胺能神经元为基底神经节提供了非常重要的奖励预测误差信号该信号驱动了许多强化学习算法中的学习。大脑中记忆系统的模块化启发了现代记忆神经网络它在一定程度上将存储器存储和决定何时从存储器中读写的执行控制电路的操作分开。人类注意力系统激发了注意力神经网络这些神经网络可以被训练来动态地关注或忽略其状态和输入的不同方面以进行未来的计算决策。形式生成语法在语言学和认知科学中的发展导致了概率语法和句法分析在 CS 和 AI 领域的发展。像 dropout 这样的现代正则化技术受到神经动力学内在随机性的启发。人工智能未来的生物学启示尽管目前人工智能系统在有监督的模式识别任务上已经取得了巨大的商业成功但在模仿真正的人类智能方面我们还有很长的路要走。在这里我概述了生物和人工智能领域可以携手前进的一些方向。生物学上合理的信用分配信用分配问题可能是神经科学和人工智能领域最大的开放性问题之一。夸张点说假设你正在打网球你的一个击球失误了。这应该责怪你的 100 万亿个突触中的哪一个大脑是如何在你的运动系统中找到正确的突触组并纠正它尤其是当错误发生几百毫秒内通过视觉系统传递的时候?在人工智能中这种信用分配问题在很多情况下是通过错误的反向传播通过多层计算来解决的。然而目前还不清楚大脑是如何解决这个问题的。我们只知道大脑使用一个局部学习规则 (local learning rule)即每个突触仅使用实际可用的信息来调整强度例如由突触连接的两个神经元的电活动附近其他突触的强度以及反映奖励和错误的任何神经调节输入。阐明这些局部突触规则是什么、以及它们如何工作可能会对 AI 产生重大影响使得在神经形态芯片上实现并行学习成为可能从而避免反向传播的通信开销。但更普遍的情况是找到一个困扰神经科学和人工智能的常见未解问题应该会促使研究取得进展通过将生理学家、计算神经科学家和人工智能研究者聚集在一起共同解决生物学上合理的信用分配问题。要成功应对这一重大挑战可能需要将实验知识、理论和工程技术结合起来。整合突触的复杂性生物神经模型和人工神经模型之间的一个主要区别在于我们模拟连接神经元的突触的方式。在人工神经网络中突触是由单个标量值来模拟的这个标量值反映了一个乘法增益因子它转换了突触前神经元的输入如何影响突触后神经元的输出。相比之下每个生物突触内都隐藏着极其复杂的分子信号通路。例如海马突触隐藏在我们对最近事件的记忆之下每个突触都包含一个由数百种不同类型分子组成的化学反应网络该网络能够实现具有复杂时间处理能力的整个动力系统。看到这样的复杂性理论家或工程师可能会倾向于简单地忽略它认为它是进化过程中偶然产生的生物混乱。然而理论研究表明这种突触复杂性可能确实对学习和记忆至关重要。更普遍的情况是我们目前的 AI 系统很可能忽略了生物突触的动态复杂性仅仅关注表格上体现的性能提升。正如我们在网络中增加了空间深度来实现复杂的层次表示一样我们也可能需要在突触中增加动态深度来实现复杂的时间学习能力。单个突触内的复杂分子状态有助于学习和记忆。(参考 A memory frontier for complex synapses.)从系统级模块化大脑架构中获取线索通常当前的商业 AI 系统涉及的训练网络具有相对同质的分层结构或从随机权重表开始的递归结构。然而对于更复杂的任务来说这可能是一个很难解决的问题。事实上生物进化走的道路截然不同。所有脊椎动物最后的共同祖先生活在 5 亿年前。从那以后它的原始大脑一直在进化形成了大约 1 亿年前的哺乳动物大脑和大约几百万年前的人类大脑。这种不间断的进化链导致了复杂的大脑结构和高度保守的计算元素以及巨大的系统级模块化。事实上我们目前缺乏任何工程设计原理能解释像大脑这样复杂的传感、通信、控制和记忆网络如何在 5 亿多年的时间里不断地扩大规模和复杂性同时又不会失去在动态环境中自适应运作的能力。因此AI 从大脑的系统级结构中获取线索可能非常有趣。一个关键的系统特性是功能和解剖层次上的模块化。大脑并不像我们目前的 AI 架构一样是同质的而是有不同的模块比如海马体 (用于辅助情景记忆和导航)、基底神经节(基础强化学习和行为选择) 和小脑(运动控制和更高层次的认知)。此外人脑中的记忆系统 (习惯性记忆、运动技能、短期记忆、长期记忆、情景记忆、语义记忆) 在功能上也是模块化的不同的患者可能在一种记忆上有缺陷而在另一种记忆上没有缺陷。又如在运动系统中嵌套反馈回路结构占主导地位简单的快速回路通过脊髓在 20 毫秒内就能实现自动运动校正稍慢的智能回路通过运动皮层在 50 毫秒内能实现更复杂的运动校正最后流经整个大脑的视觉反馈实现有意识的运动错误纠正。最后所有哺乳动物大脑的一个主要特征是由大量相似的 6 层皮质柱组成的新皮层所有这些柱状结构都被认为是在一个标准的计算模块上实现变化的。总的来说经过 1 亿年进化而来的现代哺乳动物大脑非凡的模块性表明这种系统级模块化可能有利于实现人工智能系统当前的从白纸状态开始训练神经网络方法对于实现更一般的人类智能是不可行的。5 亿年来脊椎动物大脑的进化创造了一个高度异构和模块化的计算系统。无监督学习、迁移学习与课程设计AI 系统与 human-like learning 之间的另一个主要区别在于AI 系统要接近人类水平的表现需要大量的标记数据。例如最近的语音识别系统使用 11940 小时的语音进行训练并有对应的文本语料。如果我们每天花 2 小时看和听另一个人大声朗读文本需要 16 年才能获得这么大的数据集。AlphaGo zero 自我对弈了 490 万场围棋才击败了人类围棋大师。如果一个人话 30 年的时间每天必须要下 450 场才能达到 AlphaGo zero 的练习量。此外最近的一个关于可视化问答的数据集包含 0.25M 的图像、0.76M 的问题和~ 10M 的答案。如果我们每天收到 100 个关于图像的问题的答案那么我们需要 274 年的时间才能接触到这么大的数据集。很明显在所有这些情况下人类接收到的带标签的训练数据要少得多但人类能够很好地识别语音、下围棋和回答有关图像的问题。弥合人工智能和生物智能之间这一鸿沟的几个关键在于人类从无标记数据中学习 (无监督学习) 的能力以及从解决先前任务时获得的强大先验知识并将这些知识转移到新任务 (转移学习) 的能力。最后人类社会已经建立了教育系统包括精心选择的任务序列的设计以促进知识的获取 (课程设计)。为了在人工系统中有效地实例化这些概念我们需要对人类和其他动物如何进行无监督学习、如何在任务之间传递知识以及如何优化课程等问题有更深层次的理解和数学形式化。这些领域的进步需要计算机科学家、心理学家和教育工作者的相互合作这可能是减少当前 AI 系统令人望而却步的数据需求的关键。在其他标记数据稀缺的领域它们对于增强 AI 的能力至关重要。Taskonomy斯坦福大学进行的一项关于 26 项不同视觉任务之间的迁移学习的研究建立理解规划和积极因果学习的世界模型当前成功商用的 AI多是监督学习模型。AI 被动获取输入人为调参纠正输出的结果。但是反观人类即使是婴儿也可以主动去探索周围环境具有学习和利用世界模型的卓越能力。举个例子。我们可以玩个小魔术给婴儿看两个东西A 好像是可以穿墙而过B 好像撒手后不会掉下来。把这两个东西教给婴儿后婴儿拿到 A 会尝试去把它推进硬质表面而拿到 B 则会撒手看看它到底会不会掉下来。你看婴儿不需要人为去纠正结果而是会去主动去探索结果。这个非凡的实验表明婴儿的脑海中已经建立起物理世界运作规律的模型能够注意到违反物理世界运作规律的事件积极验证上述事件收集数据并主动根据模型选择训练数据这个实验给了我们很大启发即从经验中学习世界模型并使用这些世界模型来制定未来的行动规划以及进行决策。该系统直接将世界状态映射到值或预期的未来奖励人工智能中的这项工作可以与神经科学的工作携手并进揭示动物的神经活动如何与想象的和实现的未来相关。此外好奇心等基本驱动因素可以化为强化学习系统以促进学习和探索。这种基于模型的规划和决策可能是当前无模型强化学习系统的有力辅助。进一步深入理解促进动物和人类学习的内在生物驱动可能对加速人工智能的学习非常有益。在后摩尔定律的世界中实现节能计算生物系统和人工智能系统之间的另一个数量级差异在于它们的能量消耗。 同样的计算量人脑仅消耗 20 瓦的功率而超级计算机则以兆瓦的功率运行。人脑消耗的功率比家里的节能灯还小造成这种差异有两个愿意。首先可能是因为数字计算本身需要在计算的中间阶段以极高的可靠性翻转每一个 bit。相对的生物计算像是让一群猴子敲代码嘈杂又不精确可每个中间步骤却非常可靠导致最终结果是精准的。另外大脑还会智能地根据所需的通信速度调节能量成本只在需要更高速度且仅需要更高可靠性时才会消耗更多能量。而数字计算机的每个时钟周期都需要消耗大量的能量。我们以大脑中遍历目标神经元的单个 bit 所需的成本为例 [18]。首先囊泡的随机释放化学信号以 1 毫米 / 秒的速度扩散到源神经元和目标神经元之间的空间仅消耗 2.3fJ 能量(考虑到神经元连接之间的距离只有 20 纳米这个速度完全没有问题)。然后该化学信号被转换为无源电信号再以 1 米 / 秒的速度流过神经元细胞体横穿约 10 微米燃烧 23fJ。最后到达轴突终端并转换为长轴沿着轴突以 100 米 / 秒的速度行进 1cm消耗 6000fJ。可以看到在从化学信号传递到被动电信号时大脑动态地将通信速度上调 1000 倍以跨越增加 1000 倍的距离从而导致能量消耗增加 10 倍。类似地在从被动到主动电信号传输的过程中大脑将通信速度提高 100 倍以跨越增加 1000 倍的距离从而导致能量消耗增加约 200 倍。所以生物计算的混乱模式反而可能反映出高能效的设计原则值得我们借鉴到 AI 硬件中。Neurogrid由硅实验室的斯坦福大脑开发的一种生物启发的神经形态计算机AI 的神经科学和神经科学的 AI一种良性的科学螺旋最近神经科学和人工智能之间的相互作用的发展综合深度和复发神经网络模型的发展成功构建出动物的在对应不同任务时调用不同大脑区域的模型。例如腹侧视觉流听觉皮层前额皮质运动皮质和视网膜。我们惊奇的发现当训练深度或复发网络来解决任务时其内部活动模式与测量出来的(解决相同任务的)动物内部神经活动模式非常相似。这就涉及到一个基本问题我们如何理解这些模型正在做什么以及它们如何工作也就是说如何解决 AI 神经网络的可解释性某些应用场景尤其像医学诊断或和法律AI 必须是透明的、可解释的。如果医生和法官无法解释为什么 AI 系统给出这样的决定就没人敢采用人工智能系统的建议。任务驱动的视觉系统卷积循环模型可以同时执行机器视觉任务并解释猴子视觉系统的动态发现人工智能普世定律正如我们相信物理世界中一切现象的背后都被普世的定律控制空气动力学控制飞行量子力学控制纳米世界的演化等等。我们认为在智能领域同样存在着普世的定律可以连接和统一神经科学心理学认知科学以及人工智能等相关学科同时和分析计算领域(如物理数学和统计学)互惠互利。例如本文作者同时使用了动力系统理论 [25-28]统计力学[29-33]黎曼几何[34]随机矩阵理论[13,35] 和自由概率理论 [36] 等技术获得对生物和人工网络运作的概念性见解。创造智能机器可能存在多种解决方案其中一些组件在生物解决方案和人工智能解决方案之间共享而其他组件则可能不同。通过寻求普世的智能定律我们可以更有效地理解和遍历整个解决方案空间。人工智能以人为本发现适用于生物和人工系统的新兴智能的潜在法则以及建立受神经科学和心理学启发的新型 AI需要大家共同努力。我们需要建立新的研究团体遍布不同的学科还需要培养新一代思想领袖能够在计算机科学家神经生物学家心理学家和数学理论家等不同身份之间随意转换。这可能是本世纪及以后最激动人心的智力活动之一
