平凉网站开发,广州网站排名,win7图标显示wordpress,成都智科达实验室设备有限公司来源#xff1a;人工智能前沿讲习班摘要#xff1a;7月28-29日#xff0c;由中国人工智能学会和深圳市罗湖区人民政府共同主办#xff0c;马上科普承办的“2018 中国人工智能大会#xff08;CCAI 2018#xff09;”完美收官。大会第二天下午#xff0c;中科院神经科学所… 来源人工智能前沿讲习班摘要7月28-29日由中国人工智能学会和深圳市罗湖区人民政府共同主办马上科普承办的“2018 中国人工智能大会CCAI 2018”完美收官。大会第二天下午中科院神经科学所所长中国科学院院士美国国家科学院院士蒲慕明作题为《脑科学与类脑机器学习》的主题演讲。以下是根据速记整理的大会讲座实录。蒲慕明 中科院神经科学所所长中国科学院院士美国国家科学院院士皮层的作用在近代神经生物学上和脑科学上最大的进展就是在19世纪中后期法国医生和科学家波卡Broca通过解剖失语症病人发现了Broca区。他是第一个给大脑功能定位的科学家。从他开始脑科学家们逐渐认识到不同脑区主管不同的功能。同时各个脑区之间有高度的联接特别是侧向联接。高度的横向连接在处理多感觉信息整合时具有优势。这也正是人工智能做多模态整合时需要解决的问题。20世纪的脑科学到底有什么进展20世纪脑科学进展主要是对于神经元如何编码、储存和提取神经信息的理解比较清楚。从20世纪初期到21世纪初与神经科学相关的诺贝尔奖得主都是在解决神经元如何编码、存储和提取信息的都是在细胞水平而不是网络水平进行研究。神经细胞都有局部环路和长程环路。一个功能的出现必须要求神经元环路中神经元在适当的时候放电。脑网络如何产生诸如知觉、情绪、思维、抉择、语言等高等脑认知功能我们对此理解极为粗浅。现在说起来脑科学的进展打一个比喻相当于物理学、化学在19世纪末和20世纪初的状态新的理论和关键技术还没有出现的时候这是脑科学现在的状态。我们不要对脑科学有过度乐观的期待。脑科学与类脑智能研究的关系历史上人工智能出现了三次浪潮每次往上的推动都是从神经科学里得到的启发。例如McCulloch和Pitts在1943年提出MP神经元模型以及80年代Hopfield算法、BP算法。最近的深度网络学习它包括多个层次每个层次具有不同的功能这也是从视觉系统得到的启发。要理解大脑需从三个层次上分析第一个是宏观层次。通过核磁成像的技术可以得到粗略的神经束的走向但单单只了解神经束的走向对于理解脑功能并没有太大贡献。我们要进一步了解大脑必须要达到神经元水平。第二个就是介观层面空间分辨率要达到微米。用特殊方法来标记不同的神经元种类了解不同神经元的功能。介观神经连接图谱是目前神经科学的主要方向。第三个是微观层面微米到纳米尺度。在微观层面对神经元轴突和树突的分布以及突触产生规律的研究可以得到很多有用信息的。突触传递过程非常复杂所有神经元是通过电信号来传递信息但是电波不能直接传到下一个细胞。突触前的信号造成化学物质的释放会由于释放的化学物质不同可以造成突触后细胞的激活性或抑制性电信号反应。这样就大大增加了神经网络处理信息的能力。解读整个神经网络的难点第一个难点就是每一种脑功能都有大量神经元集群参与简单的视觉输入就有百万千万的神经元被激活。我们非常缺乏非干扰性大量观测神经元集群活动的技术。美国脑计划主要就是在开发脑研究新技术新技术主要是观测技术还有能够分析大量神经元动态信息的大数据分析方法。大数据分析不是盲目分析我们需要有理论指导用数据去检测这个理论的准确性。突触可塑性与Hebb假说可塑性是大脑认知功能的基础可塑性使得大脑网络形成新的状态就会产生新的行为。大脑是不断在变的每一个活动都引起功能和结构的变化。HebbDonaldHebb是加拿大的心理学家认为同步的电活动可造成突触加强或稳固。如果两个神经元同时发放他们之间的突触联接就会加强如果不同步那么突触前后的连接就会削弱。可塑性的现象最早是由中国科学家冯德培发现。冯德培在英国拿到博士学位回国之后在协和的生理系建立了实验室专门研究神经肌肉接头的功能。1946年在他的系列论文的26篇中报告了一个现象在神经肌肉接头的突触通过高频的刺激可以引起突触后肌肉电活动的加强这个加强长达十分钟之久。突触的效率因为电活动而改变很快的几秒钟高频刺激产生的后果是十几分钟的突触增强这就是可塑性。冯德培1941年发现的现象是可以拿诺贝尔奖的但是冯德培先生90年代过世了。到20世纪70年代人们才在中枢神经系统中发现了类似的现象被称为长时程增强LTP和长时程减弱LTD。电活动过后在脑网络里留下了长期的痕迹就是记忆记忆就是储存在神经传递的效率变化之上。突触可塑性除了突触效率的改变还有突触结构的变化。为什么轴突不直接把信息送到树突上而是传递到树突棘上呢其中原因一直没有人知道。在耶鲁大学做教授的时候张香桐提出了一个假说树突棘微小的突起可以作为调节突触传递效率的结构。现在学界公认树突棘可以作为调节突触权重的结构。赫伯Hebb细胞群假说赫伯认为改变连接强度就是储存记忆——记忆储存在网络中并不由单独的位置储存把已经储存记忆的细胞群再激活电活动再出现记忆就会被提取。比如说我们从小时候开始祖母面孔就不断的激活我们的细胞眼睛、嘴巴、鼻子等都会特定激活一群细胞整个大细胞集群在祖母面孔出现时候集体放电。通过这个超级赫伯细胞群我们长大了以后只要看到祖母的眼睛部分的细胞群激活了就可以唤起祖母面孔的记忆。赫伯细胞集群假说可以做进一步补充。祖母是一个概念这个概念包含了她的面孔还包含了声音、唱的歌、名字我看到这些所有的特征任何其中一个特征都可以换起对整个祖母全部特征的反映。这个概念是一个超级超级细胞群她唱的歌也许储存在听觉区她的面孔在视觉区味道在嗅觉区这些信息在跟祖母相关的事情出现的时候都会同步被激活。这是一种多脑区同步放电活动是一种超级超级赫伯细胞群的放电。大脑认知的关键就是信息捆绑的问题。各种信息如何整合产生一个整体多年来流行的假说就是聚合型假说各个组成的成分都在放电它们都通过轴突输入到另一个神经元该神经元同时收到各个组合成分的神经元信号同时整合了这个信息。人们最早是在视皮层发现证据这是Hubel和Wiesel得诺贝尔奖的工作。在视皮层或者视网膜上能够引起神经元活动的区域我们称为视觉感受野。从丘脑里面细胞的点状感受野到视皮层整合成线状。由点到线的整合就是一种信息捆绑。然而还有其他的可能性例如同步放电模型各种组合成分的神经元在某一信息出现后就一起放电同步电活动本身活动就代表了整合信息。大脑网络形成的过程在发育过程中一个月的婴儿并没有什么网络在两岁、三岁之间会生成很多的树突和轴突从而形成非常复杂的网络。这是非常令人吃惊的现象这就说明神经元的基本结构是基因决定的但是网络是在出生以后才建立的出生以后是各种各样的学习、经验在起作用。早期的修剪过程是非常重要的早期修剪的太少可能是自闭症过多可能是精神分裂症所以网络的修剪是正常网络形成必要的一环修剪不好就造成疾病。突触是记忆的储存位点突触储存记忆有两种储存方式一种是改变突触权重另一种是突触连接结构的修饰——新的连接形成原有连接的改变。大脑在发育期与成年期有不同的可塑性大脑发育期有大幅度的神经结构修剪使得新的突触产生经验是主导网络修剪的主要因素成熟大脑神经网络只有有限的可塑性是在原有的突触上增加一点效率这是经验和记忆所必需的。每个人的网络都不一样每个人的性格都不一样这是因为我们每个人的经验都不一样所以我们处理信息的方式都不一样这就是成熟网络的表现。赫伯学习法则的新转折赫伯认为同时放电的神经元连在一起不同步放电就网络连接但是20年前出现了新的转折——强化或者弱化不只是同步而且有时序性。突触前放电先于突触后放电突触强化反过来就弱化这种有时序信息的现象我们称为时序信息依赖的可塑性STDP。现在已经有人在人工网络上运用STDP。我们可以做一个简单的游戏把贝多芬的《致爱丽斯》正序弹奏每个人都会听出来反过来弹却没人会听出来是什么曲子这是因为记忆是有时序性的。可塑性对人工智能发展曾有过关键性贡献Hopfield人工神经网络每一个突触点赋予某一权重单元将所有输入加合各突触的权重可以用赫伯学习法则调节。BP反向传播算法可以用来学习说话FrancisCrick对此作出了高度评价在“The recent excitement about neural networks”文章中认为BP算法非常惊人但是也提出大脑中似乎没有这种机制大脑的是轴突的信息送到树突的单向过程而没有反馈信息。几年以后我们通过记录多个神经元来验证这种说法是否真实。我们发现突触前神经元内存在逆向传播和侧向传播突触后只有侧向传播没有前向传播。轴突终端产生的LTP可以在突触前神经元往回传但不能往在突触后往前传我们称这种现象叫做naturalBP。现在在自动化所我们将natural BP应用到人工神经网络上面希望对非监督或者半监督学习有点帮助。最后做一些总结1.可借鉴的自然神经网络特性(1)神经元的种类兴奋性和抑制性神经元活动的平衡是正常网络功能所必要的。①突触延迟synaptic delay在神经环路中起关键作用。②抑制性中间神经元通常出现在兴奋性输入之后可防止神经元过度兴奋可消除脉冲序列spiketrain的尾巴以提高信息的时间精确度temporal precision可通过抑制旁侧的神经元的兴奋性以增加对比信息的空间精确度spatialprecision。(2). 多方向顺向、逆向、侧向的神经连接连接不只有一个方向大多数的连接是正向的也有逆向的也有侧向的而且兴奋性和抑制性神经元都有多方向的联接而且是有空间和神经元种类特异性的联接。(3).神经突触的可塑性①突触的功能有可塑性传递效率的增强与消弱(LTP/LTD) 可依赖于突触前后神经元同步电活动的频率也可依赖于突触前后神经元电活动时序(STDP)。②突触结构可塑性包括树突棘的形态变化和突触的新生(formation)与修剪 (pruning。③突触可塑性的传播; LTP和LTD的有序传播包括逆向转播Back-Propagation突触效率可减弱也可增强和侧向传播LateralPropagation有选择性地在突触前和突触后传播。(4).记忆的储存、提取与消退理解记忆不应只关注储存问题还有记忆消退问题 消退的意义可能比储存还要更重要。①记忆的储存网络中特定突触群的效率与结构修饰。②记忆的遗忘突触功能与结构修饰会随时间消退。③短期记忆转化为长期记忆有规则重复的重要性。④记忆提取电活动的再现于储存记忆的突触群。⑤强化学习依据输出的结果对学习相关突触群的修饰, 调质神经元在修饰中的作用。(5).赫伯神经元集群概念的应用①使用嵌套式集群来组成多成分、多模态的信息。②不同模态的信息在网络的不同区域处理时可通过侧向连接进行交互影响。③可使用同步或有相差的电活动来捆绑不同区的神经集群。④输入信息的拓扑结构在传输过程中的不同层面有所保存。 2.对人工神经网络/机器学习的建议一是“摆脱”深度学习网络的诱惑。二是建立全新的人工网络架构和算法目标是高效、节能、无监督或者半监督学习。三是以脉冲神经网络为基础加入传递延迟。每一个突触传递都有一个时间延迟这是很多网络处理信息的关键。四是从简单网络为基础每次加入一个自然神经网络的特性检测其效能然后逐步完善。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
