网站透明效果,工厂网站建设流程图,百度快照是什么,怎么做淘客专属网站文 | Severus最近#xff0c;AI领域的三位图灵奖获得者Yoshua Bengio、Yann LeCun和Geoffrey Hinton共同发表了一篇文章#xff0c;名为Deep Learning for AI#xff0c;文中讨论了深度学习的起源、发展、成就及未来。文章标题#xff1a;Deep Learning for AI原文链接AI领域的三位图灵奖获得者Yoshua Bengio、Yann LeCun和Geoffrey Hinton共同发表了一篇文章名为Deep Learning for AI文中讨论了深度学习的起源、发展、成就及未来。文章标题Deep Learning for AI原文链接https://cacm.acm.org/magazines/2021/7/253464-deep-learning-for-ai/fulltext小伙伴们也可以在 【夕小瑶的卖萌屋】订阅号后台回复关键词 【0712】 下载论文PDF~今天我们有什么得益于越来越便宜的算力以及越来越海量的数据加上各种机构做出了越来越简单易用的深度学习框架如Theano、Torch、TensorFlow、PyTorch等它们可以做自动求导让训练深度学习模型变得更加简单。这一切因素带动了深度学习的火热。深度学习在结构上的成功则在于它的多层结构可以进行重组、重构建浅层网络得到更加抽象的特征而这些特征用于最终的任务如分类任务、生成任务等就会变得足够的简单。但如果想得到合理的抽象特征自然也就需要海量的数据来支撑。在有标签数据充沛的领域监督学习自然是会达到非常好的效果在规则足够简单且限制比较强的领域强化学习也自然会有非常强势的表现如下棋、游戏等。但是现实世界显然不会是这么理想的那么利用迁移学习将从数据充沛的任务中学习到的知识应用到一些数据不是那么够的任务中就成为了下一步解决方案。那么迁移学习中的预训练任务要怎么样去设计才能得到一种对下游任务足够友好的通用表示且数据可以足够多呢各个领域的人尝试了各种无监督、自监督的方式如NLP领域有完形填空任务即让模型填上文本中遮蔽掉的词或改正错误的词CV领域则使用对比学习来得到更加鲁棒的表示实际上近年来也有将对比学习策略应用到NLP的工作当然这些工作最大的问题仍是怎么样去定义对比学习的正例和负例。还有一种自监督的学习方法是变分自动编码器VAE简单来讲就是由编码器学习图片的表示再用解码器还原这张图片用这个表示去生成一张图片。以上是文章中对近期深度学习的工作进展的介绍寥寥数字远不及文章中所提全面例如soft attention的成功、ReLU成功之谜本文不再介绍而比较关键的是要谈一谈深度学习的未来。未来何去何从机器学习研究都会遵从一个强假设即独立同分布假设train集合和test集合需是相互独立且同分布的。当机器学习系统想要应用于产业中的时候理想的情况自然也是训练样本和真实应用场景是同分布的工业场景下不一定非得要独立甚至训练样本就在使用场景之中促使一定程度的过拟合可能才是工业比较希望的。如果应用场景是足够窄且数据足够多有监督学习或规则足够强强化学习这种理想情况是几乎可以实现的但现实往往不尽如人意也就是说同分布的假设大概率要打破。这也就导致了很多在实验任务中打出了不俗分数的模型到了真实的使用场景中往往会爆发这样或那样的问题导致它无法应用。哪怕是已经非常神奇的自监督预训练模型或无监督预训练模型在面对超出分布out-of-distribution的场景的时候表现也会掣肘。与深度学习模型不同人就有着非常强大的领域迁移能力且这种能力往往又不需要很多的样本甚至仅仅需要一些规则符号派的规则描述就可以迅速适应一个新的领域。例如如果看见一张以前完全没有见过的风格的照片人大概也能分辨照片上面有什么哪怕分辨不了那他认识了这一张也会迅速认识很多类似的照片。两个使用同样语言但受到过不太一样的教育的人在交流的时候如果使用的是同一个语言那么两个人大概率也能进行交流只不过涉及到专业的背景时才可能会存在交流上的障碍一个人在学习一个新的游戏的时候可能仅仅需要理解规则加上试玩一两次就可以掌握这个游戏的基本玩法后期对游戏规则的认识或者学习技巧也无非是扩充自己对这个游戏的认识。所以针对现有的深度学习系统或许我们应该探索的方向是怎样设计出一个能够很好地面对超出分布的机器学习系统。关于这一问题原文中提出了多种改善方向包括胶囊网络所使用的用相邻的成组神经元去表示实体适应多种时间尺度的权重设计高层次的认知。这里我想要针对高层次的认知这一部分谈一下。从“感知”到“认知”文中对高层次的认知的描述是一种“想象”能力将现在已经学习的知识或技能重新组合重构成为新的知识体系随之也重新构建出了一个新的假想世界如在月球上开车这种能力是人类天生就被赋予了的在因果论中被称作“反事实”能力。也正如Judea Pearl所代表的因果论体系中所提到的因果关系之梯观察感知、干预、反事实认知。现有的统计学习系统仅仅停留在因果关系之梯的第一层即观察观察特征与标签之间的关联而无法做到更高层次的事情。当然现在也有很多人在做相关的研究例如用反事实的思想去做训练策略例如二分类先假设当前样本为正例得到一个表示再假设当前样本为负例又得到一个表示两个表示相减所剩余的东西作者即认为是真正有用的特征或者干脆去做对抗训练例如文本分类中替换实体或者遮蔽实体试图找到人去判断这句话为某一类的真正的因素。这些方法是想要在统计的限制之内试图去找到真正与答案有“因果”关系的因素或者更加宏大的是找到人类关于这个问题的通用知识。实际上当我们在统计模型中通过去干预数据描述世界的方式驱使模型真正模仿了人真正的推理过程那么也就是让模型学习到了人类关于这个任务的通用知识。个人认为如果能驱使模型学习到通用知识其实同分布的假设也就没有那么容易被打破了。这其实和2年前Welling教授所提到的愿景是类似的Welling教授想要赋予模型演绎的能力而这三位大佬的文章中则想要让AI系统学习到潜在的因果能够从低层次的“感知”到高层次的“认知”。但实际上这样一种系统其实会超出现在所有对神经网络、深度学习等等的定义会超出对统计模型的定义。统计模型其本身的原理、结构就限制了其能力它只能做归纳却不能做演绎。那也就是说如果想赋予深度学习系统认知的能力则需要彻底改变现有深度学习系统的模式包括模型的存在形式模型“学习”的过程这可能是想要实现更强的人工智能的一种必然却又无法想象它会是以一种什么样的形式存在我想大佬们在文章里面没有讲清楚也可能这片未来本就是迷雾重重的。实用主义出发的道路我的口嗨AI研究一直分为两个学派符号学派及统计学派。符号学派从定理证明开始到专家系统到知识图谱以及曾经非常火爆的五代机等实际上一直在做的事情就是试图将我们上文所讨论的将人类的认知能力描述出来赋予给机器的过程。只不过符号学派需要无数的人去不断地穷举、描述真实世界的知识再编写成为机器所能接受的形式还要去考虑计算效率等等的问题繁琐效率很低面对复杂的真实世界自然会又种种掣肘在数据量够大、算力够便宜的今天远不如统计学派来的优雅。可是我们又不得不承认在划分能力即定义“否”的能力上符号派相比于统计派就是得天独厚的。其实在统计学习已经逐渐触摸到上限的今天我们无法设想出新的道路但我们是否可以走走老路呢例如统计学习实际上是去解决人看不过来的东西将复杂的世界划分或聚拢成为若干个分组每一个分组去解决不同的问题那其实使用统计学习到的特征成为一种规则触发与符号AI结合去解决更加复杂的问题看似中庸但使其作为一个实用者出发的道路是否可以呢实际上统计学习系统作为一个辅助决策的工具已经在很多个领域有这种应用了利用各个条件执行决策的可能是人可能是一个简简单单的规则引擎它虽不优雅但胜在有用。或许人工智能的发展可能就是要统合就如同玉女剑法和全真剑法一样看似互相克制但其实双剑合璧却是真正的威力。寻求报道、约稿、文案投放添加微信xixiaoyao-1备注“商务合作”后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集
