邯郸网站建设开发公司,网站建设编辑器,北京网站上排名,app开发软件外包来源 #xff1a;AI科技评论编译 #xff1a;bluemin校对 #xff1a;青暮最近的神经科学研究指出了如何击败对抗性示例#xff0c;并为实现更具弹性、一致性和灵活性的人工智能指明了道路。对抗性示例是当今深度学习研究的热点。数据中微妙的#xff0c;通常是无形的更改… 来源 AI科技评论编译 bluemin校对 青暮最近的神经科学研究指出了如何击败对抗性示例并为实现更具弹性、一致性和灵活性的人工智能指明了道路。对抗性示例是当今深度学习研究的热点。数据中微妙的通常是无形的更改可能会使深度学习网络铸成大错。作为人类我们似乎对这些输入感官的扰动更具抵抗力尽管并非完全免疫。在深度学习系统中有一种特定的工作模式看上去卓尔不凡但有时不堪一击。就像暴风雨中的一棵僵硬的树一样它们看上去雄伟壮观但随时都可能毫无征兆地裂开。为什么会发生这种情况我们如何改善这种情况随着神经科学领域的新研究相继展开谜团逐渐明晰化。在本文中我们将对其进行探讨。科学家兼企业家Jeff Hawkins在他最近出版的著作《千脑新的智力理论》A Thousand Brains: A New Theory of Intelligence本文作者最欣赏的一部杰作中剖析了团队对新大脑皮层进行的最新研究他们发现负责人类高级智能的区域占据大脑容量的70。另外30%是古老原始化的低级神经活动区域。这是一次迷人的旅程Jeff Hawkins将我们带入了人类智力的震中。他分享道新大脑皮层中的环路纷繁复杂。仅仅一平方毫米就有大约十万个神经元数十亿个连接突触以及数千米长的轴突和树突。新皮层在各方面看起来都非常相似。区域之间的差异很小。新大脑皮层的所有区域似乎都与运动的产生和运动任务有关。在大脑皮层的每一个区域科学家们都发现了和旧皮层中与运动有关的区域相联系的细胞。1一个环路统治天下Vernon Mountcastle是美国著名的神经生理学学家约翰·霍普金斯大学的神经学名誉教授。他是皮质柱状结构的发现者。他提出我们的新大脑皮层基本上是通过反复复制相同的内容和相同的基本环路得到进化从而日益强大。当在Jeff的书中读到Mountcastle的想法时我想起了伟大的科学家Robert Sapolsky的精彩演讲。Sapolsky在回答有关黑猩猩与人类之间区别的问题时https://www.youtube.com/watch?vAzDLkPFjev4)解释道黑猩猩和人类之间基因表达的差异大约有一半与编码嗅觉受体的基因有关其他差异与骨盆弓的大小、体毛的数量、免疫系统识别能力、生殖隔离的某些方面等有关上述因素以及其他因素几乎解释了黑猩猩和人类之间所有的基因差异。那么与人脑相关的基因差异在哪里呢Sapolsky解释说几乎不存在差异而且鉴定出的少数基因与胎儿大脑发育过程中细胞分裂的轮数有关。人类的神经元数目基本上是黑猩猩的3倍。这种规模上的差异似乎是人类具备高级智力的关键。这与Mountcastle的想法异曲同工即单一环路可以被多次复制规模至关重要但规模是否足以推动当今的深度学习系统朝通用人工智能AGI方向发展接下来继续探讨。我们的新大脑皮层的所有区域都基于相似的原理在同一个基本环路上工作这符合我们大脑在不同场景中表现出的灵活性。如果规模至关重要这是否意味着GPT-11能让我们更接近AGI但是这谈何容易因为Jeff在他的书和理论中阐明了房间中的存在一头巨大的大象。这是一个我们忽略了太久的问题。215万根皮质柱在去参观房间里的大象之前让我们先了解一下背景知识。根据科学家的说法我们的新皮层中大约有15万根皮质柱。Jeff告诉我们可以将这些柱子看作是细细的意大利面条。因此想象一下15万根细细的意大利面条彼此相依的场景。隐喻地说你的新大脑皮层就是这种情况。这些皮质柱内发生了什么在过去的几年里科学家们逐渐认识到大脑是一个预测机器。它生成了一个世界模型并不断预测接下来会发生什么。当我们大脑的预测不正确时我们意识到有些事情不对大脑就会更新它的世界模型。随着时间的推移我们的世界模型变得缤纷复杂。因此从某种意义上说我们确实生活在模拟环境中。因为我们所感知到事物的其实是大脑构建的模型而不是外面的“现实”。这就解释了幻肢以及其他类似的情况。Jeff Hawkins指出我们的大脑通过关注它所接收的输入在我们移动时或那些输入在移动时是如何变化的来学习世界模型的。这就把我们带到了房间里的大象那里。3房间里的大象世界在不断变化。一切都在运动中。随着事物的运动和变化我们的大脑不断更新我们的世界模型我们很快就会看到很多模型是有一定道理的。正如近年来注意力机制彻底改变了深度学习领域一样注意力也是我们大脑学习这些模型的关键。但是如果我们的新大脑皮层不断做出大量的预测并逐渐适应其模型和感知之间的任何偏差为什么我们没有察觉到这些全部的预测而是感知一个连续的现实呢让我们一步一步地解开谜团。通过最新研究Jeff和他的团队获得了一些有趣的见解我们的每一根皮质柱大概总计15万根都在学习世界、物体、概念以及任何你能想象的事物的模型。他们提出正如我们的旧皮层拥有位置细胞和格点细胞来建立周围环境的模型一样新皮层也具有等效的细胞这些细胞可以让大脑建立物体、概念等的模型。皮质柱使用的是Jeff所称的参考系这些参考系就像具有多个维度的网格可以帮助大脑组织任何种类的知识。Jeff告诉我们思维是一种运动形式。当我们在这些参考系中改变位置时思考油然而生。所以你正在想什么或者你的脑子里正在想什么取决于你的大脑皮质柱此刻在不同的参考系中的位置。当你的大脑在这些结构中导航时你的思维会不断进化。请注意运动的概念开始无处不在。运动和系统的动态本质是房间里的大象。我们将很快讨论这与对抗性示例问题以及当今深度学习的局限性有何联系。因此这全都与参考系或地图、物理空间地图、概念地图以及任何事物的地图有关。Jeff告诉我们就像旧皮层中的参考系一直在学习不同环境的地图一样新大脑皮层中的参考系一直在学习目标地图在他们称为“what”柱的情景下或者人体周围的空间在“where”柱的情景下或者在非感官柱内部的概念图。我很喜欢Jeff所用的类比即我们需要找到一种好方法来组织对某个领域掌握的知识我们需要内在地创建该领域的出色参考系或地图这样才能成为任何领域的专家。想想那些深刻而复杂的参考系例如莱奥纳多·达·芬奇或爱因斯坦为了在各自的专业领域内取得卓越成绩而拥有的参照系。言归正传我们的150000个大脑皮质柱中的每一个都在学习一个世界预测模型因为它关注输入随时间的变化。每个皮质柱都学习大量元素、物体、概念等的模型。因此我们对任何事物一个对象或一个概念所具备的知识都分布在成千上万的皮质柱和成千上万的互补模型中。这与Jeff理论的名字千脑有关。所有这些都与我们大脑的灵活性有关。我们的新大脑皮层不依赖于单个皮质柱。知识分布在成千上万的皮质柱中。因此即使受伤损坏了一组皮质柱大脑仍会继续工作学术文献中这样的例子不胜枚举。接下来要考虑的是如果每次运动发生时大脑都在生成新的预测那么这些预测将存储在哪里Jeff和他的团队提出神经元不同树突上出现的尖峰包含预测信息的观点树突是神经元的分支通过突触接收输入。树突尖峰使与之相连的细胞进入杰夫所说的预测状态。因此预测发生在神经元内部。这些预测改变了神经元的电特性使其比其他情况下更快地启动但这些预测并没有通过轴突传递给其他神经元这就解释了为什么我们意识不到大多数神经元的预测。现在的问题是我们如何确定特定的预测4表决一致我们对现实的感知是投票过程的结果。不同的皮质柱通过投票达成共识这就是产生单一感知的原因该感知将来自系统不同部分的不同预测统一起来这也可能与不同类型的感官输入有关。只有某些细胞需要投票例如代表我们正在感知的特定物体的细胞。那么它们如何投票我们大脑皮质柱中的大部分连接都在新皮层的不同层进行上下移动。但也有例外。科学家发现有一些细胞通过新皮质将轴突输出连接从一侧传送到另一侧。Jeff和他的团队认为这些具有长距离连接的细胞是负责投票的细胞。当我们识别出一个物体时我们的皮质柱已经就我们所看到的东西达成了共识。我们每个皮质柱中的投票单元神经元会形成一个稳定的模式表征该物体以及该物体相对于我们的位置。只要我们不断地感知同一个物体当我们保持与这个元素互动时这些投票神经元的状态就不会改变。当我们移动或物体移动时其他神经元会改变它们的状态但投票神经元会保持稳定。这就是为什么我们的感知是稳定的而我们没有意识到与正在发生的移动预测有关的活动的波动。我们只是知道最终的稳定模式源自投票细胞所达成的共识。因此运动是我们大脑感知世界的关键。正是由于运动改变了我们自身或我们周围的某个世界我们的大脑才能丰富其内部的物体和概念模型运动不必是物物理的可以采用虚拟形式等等。使用单一原则处理各种输入为与我们互动的每个元素创建成千上万的预测和模型使这些模型丰富多彩。通过投票达成的共识机制意味着我们对世界的感知是稳定的同时灵活且富有弹性。现在该回到对抗性示例和深度学习领域状况的探讨了。5如何击败对抗性示例人类其实也会受对抗性示例的影响。感官输入中的扰动会使我们感到困惑并使我们误解事物。我们大多数人都经历过各种各样的视觉错觉。然而总的来说我们的认知始终如一而且富有弹性肯定比我们在今天的深度学习系统中发现的更加一致在这个系统中无形的变化会完全破坏我们的结果。经典视错觉图像图中的横线是平行的吗这种弹性、一致性和灵活性的背后是什么无论是什么它可能包括以下部分我们的大脑皮质柱基于运动和设立的参考系建立模型。当我们在周围移动或世界在我们周围移动时我们的大脑会对每一个物体或概念产生成千上万的预测和模型。这体现了灵活性。我们不是把所有的鸡蛋放在一个篮子里。就像我们在深度学习中使用集成模型一样我们在这个问题上下的赌注是上千个角度而不仅仅是一个角度。我们的感知形成以多模态和稳定的投票动态为基础。针对特定物体或概念等创建的不同模型正在应用多种预测这些预测通常与不同的感官模式视觉、触觉、听觉、手势等相关。在负责最终表征的细胞之间进行投票生成稳定的模式这些模式对变化具有弹性。物体或环境的微小变化不会破坏稳定的投票模式因为这种模式是基于数千个独立预测的组合而这些预测又是基于许多不同的角度、视角并且通常是不同感官模式的组合。就像集成模型在Kaggle竞赛中非常受欢迎一样投票模式也是一种在大脑中进行的集成学习使我们人类的感知兼具稳定性、弹性和灵活性当然这是相对而言但与当前的深度学习系统相比尤其如此。因此深度学习中的对抗性示例就此“终结”。而“终结”并不意味着绝对的结束仅仅是达到一个类似于我们人类具备的弹性、一致性和灵活性的水平将有可能结合以下几点运动物理或虚拟。深度学习系统需要在其移动或或周围世界移动时通过丰富其内部模型收集关于世界的不同观点和角度。机器人技术和人工智能必须进一步融合。除了机器人技术之外运动也可以是虚拟的所以这一原则超越了物理性。模型集成我们必须超越单一的表示形式或模型。为了适应对抗性示例和其他挑战深度学习需要生成大量预测和不断更新的模型。然后投票机制可以创建稳定的模式和表示形式从而更灵活地抵御对抗性扰动。连续学习外部世界不容等待。上述的一个结果是学习需要锲而不舍。如今深度学习系统过于静态化。持续学习是一个活跃的研究领域其重要性只会有增无减。参考系我们可以从Jeff Hawkins在他的书和理论中描述的参考系中找到关于如何建立我们的表征和模型的许多灵感。正如Jeff所指出的那样像 Hinton 这样的深度学习领导者已经在致力于使深度学习模型更加灵活的过程中研究了一段时间请参阅胶囊网络。但是前路漫漫最新的神经科学研究正以新的迹象强化这一方向而且会日益凸显与深度学习模型相比我们的大脑更灵活更有弹性现在我们开始理解为什么。研究检测对抗性示例的新方法是一个有趣的领域相关的学术活动不计其数。现在缺少的是重新思考我们的深度学习架构和系统从当前的静态范式过渡到基于多模态、多模型、基于共识的预测系统具有弹性、一致性和灵活性的动态范式。当我们实现这一点时我们将能够隐藏或扰乱系统的某些部分并且仍然保持稳定的预测。正如Jeff指出的那样当我们尝试将AI系统应用于对灵活性和弹性需求量大的场景时这将愈发关键。Mountcastle的想法Sapolsky的想法和我们对GPT架构的痴迷所有这些都表明了规模的重要性。规模至关重要。拥有3倍多的神经元或同一基本环路的数千个副本或数千亿个参数而不只是10亿个所有这些都很重要。对于深度学习领域的现状来说这是个好消息。在GPT系统这样的项目中我们发现并确认了一个事实即规模很重要但是我们也开始意识到与规模同等重要的一点是它将不足以带我们到达理想殿堂。如果你在一系列媒体中关注GPT-3这样的系统的最新对话比如机器学习街谈播客你会听到类似的结论。GPT-3的亮相令人印象深刻但它也有点不堪一击而且常常感觉像黑客。这与人类大脑的弹性和灵活性无关。规模很重要但运动亦如此。我们不能仅仅通过强调规模来逃避运动和变化。世界就像一场永不停息的风暴。我们是一棵越来越大的静态树但由于缺乏随风而动的能力因此不断地分裂。思维是一种运动。通过参考系进行运动。在共识机制统一的成千上万的预测和模型间运动。6唯有运动才能向前后记Pedro Domingos在他的《终极算法》一书中写到了与深度学习相关的不同范式符号论者连接论者进化论者贝叶斯论者和类推论者。显然通向AGI的道路可能会是许多不同的途径和方法的组合。关于Jeff及其团队的工作和理论正如Kenneth Stanley教授所说我遵循的是一个兴趣梯度与Jeff的工作有关的梯度幅度非常大。作者看来Jeff的理论和工作以及他所有才华横溢的团队能够支撑起非常有趣和有用的垫脚石这可以使我们更接近AGI或者至少他们的研究可以将我们引向这些垫脚石。确实如此我们可以通过许多不同的方式实现AGI获取具有足够弹性和灵活性的智能系统仍任重道远。因此深入探索来自神经科学的最新研究可能会为我们指明通往AGI的道路上有用的垫脚石这将意义非凡。原文链接https://towardsdatascience.com/towards-the-end-of-deep-learning-and-the-beginning-of-agi-d214d222c4cb未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
