网站建设费要摊销吗,网站缩略图制作,做百度推广送的网站,html官方网站来源#xff1a;人机与认知实验室 概要#xff1a; 深度学习取得了巨大的成功#xff0c;这是无容置疑的。对此#xff0c;我们不必再多说什么。但是#xff0c;其理论基础仍然有很大的空白。 深度学习取得了巨大的成功#xff0c;这是无容置疑的。对此#xff0c;我们不… 来源人机与认知实验室 概要 深度学习取得了巨大的成功这是无容置疑的。对此我们不必再多说什么。但是其理论基础仍然有很大的空白。 深度学习取得了巨大的成功这是无容置疑的。对此我们不必再多说什么。但是其理论基础仍然有很大的空白。例如究竟深度学习在做什么为什么可以学习很多东西这些问题极为重要。但是直到现在仍然众说纷纭没有定论。 我们对待深度学习的基本思路是从梳理最基本的概念入手一步一步推进来逐步搞清楚里面的问题。 先从最简单也是最基本的说起那就是IPU即信息处理单元Information Processing Unit。其实这个概念真的是信息处理中最基本的。一个信息进来即是一个N维的布尔向量进来经过处理一个信息出去即一个M维的布尔向量出去这就形成了一个IPU。也就是说我们有了一个从N维布尔空间到M维布尔空间的映射函数变换或者其他术语。可以很容易想到IPU是很宽泛的有太多的东西都是IPU。如通常的CPU就是一个IPUGPU也是一个数学函数也是一个IPU一个程序也是等等。当然我们最关心的是机器学习。一个机器学习的模型如果我们停止它的学习它也是一个IPU。 仅仅是IPU就没有什么重要性。机器学习的模型最重要的特征是可以学习。讲得更精确一些就是可以在输入数据的驱动下改变自己处理信息的能力。因此我们定义这样一个概念即在输入数据的驱动下可以改变自己处理信息能力的IPU我们称为学习机。而这个学习过程就是机械式学习。之所以强调机械式学习是想把人为因素排除使得学习仅是通过输入数据而没有人工干预。在排除了各种人工干预的因素后我们可以仔细考虑各种情况进而梳理清楚这里面的问题。 这样我们就进一步有了学习机的概念学习机是一个IPU但是这个IPU可以在其输入数据的驱动下而改变自己处理信息的能力。很清楚任何机器学习模型如果排除人工干预就是一个学习机深度学习模型也是如此概率学习模型也是如此。这当然是我们做这些梳理的目的。 让我们从学习机倒回去看看IPU。前面说了IPU就是一个处理信息的东西。我们问这个东西里面有什么其实就是有一个处理信息的机制。我们这里抽象地看这个处理信息的机制我们把它称为Processing中文可以叫做处理。我们可以不用管这个处理具体是怎么实现的我们可以仅定义一个处理就是能够处理信息一个N维的布尔向量进来经过处理一个M维的布尔向量出去。 一个最基本问题来了一个N-M的IPU有多少可能的处理呢这很容易回答有2的M乘2的N次方次方。这是一个极端惊人的数目。如果仅看文字没有感觉的话可以试试M1N10在代入之后可以看到这个数远大于2的1000次方或者10的300次方。这还仅是N10的情况如果N100N1000要知道对于信息处理来说N1000都非常小的N可能很大。那样的话IPU的处理的数目就非常非常巨大了。 这个超乎寻常的巨大的量其实是反映学习的本质的乃至于智能的本质的。不过只能在别的地方细谈此处只能放过。 所谓的学习精确定义到IPU上面那就是IPU里面的处理改变了。处理改变了处理信息的能力就改变了这就是机械式学习的精确定义。因此学习机就是它是一个IPU在输入数据的驱动下它的处理会改变。 我们再仔细追问一个IPU的处理是什么其实可以有非常多种的实现方式。例如可以是硬件来实现的也可以是软件来实现的可以是通过生物机制来实现的也可以是纯数学的方式来实现的可以是神经网络来实现的也可以是通过某种统计模型来实现的。总之只要能做相应的信息处理就好。但是经过一些仔细的推论我们可以看到无论IPU内部的处理是通过什么方式实现的都必须遵循一定的数学原则因此原则上讲这个处理必然等价于一组逻辑门的组合。我们因此定义一个数学对象它是用与或非三个逻辑门反复组合形成的称之为X-形式。之所以叫X-形式是因为它的确是一个数学形式而我们目前对这个形式还相当未知所以冠以X。我们证明了任何一个处理都可以用一个X-形式表达。这样我们就知道IPU中间其实就是一个X-形式。而学习就是改变IPU的X-形式。那么学习机就是在输入数据的驱动下它的X-形式从一个变成另一个。 我们更进一步证明了一个处理其实可以对应多个X-形式。也就是说对一个处理来说有多个X-形式可以产生这同一个处理。因此问题自然就来了这多个X-形式中间是否有好坏的差别当然有而且这个好坏差别还非常重要。因此学习机的学习就是在改进其内在的X-形式。因此我们知道了机械式学习就是在输入数据的驱动下学习机内部的X-形式在改变。 前面说了如果一个机器学习模型没有人工干预就是在做机械式学习因此我们也就可以说一个机器学习模型是在输入数据的驱动下改变自己内在的X-形式。 如果一个学习机可以学会任何处理那么这个学习机就是通用学习机。 这就是对通用学习机和X形式的简介 现在我们从机械式学习的角度来看深度学习。 首先说明深度学习经过这几年的大发展已经发展成了一个非常庞大的集合体已经有了很多模型很多方法。为了清楚和容易入手起见我们选取Hinton的原初的深度学习模型来展开讨论Hinton的原初模型非常具有代表性可以使得我们的讨论相对容易一些。 可以这样描述Hinton的原初深度学习模型它是一系列RBM的叠加而RBM是单层人工神经网络深度学习就是多层神经网络。我们正好可以比较深入地看RBM。我们从2-1 RBM看起这是最简单的神经网络有两个实参数。这样的模型当然是一个学习机。因为仅有两个实参数学习就是调整这两个实参数学习也就相当于在参数在一个二维平面R上的运动。这样我们从前面讲的机械式学习的角度看就很清楚2-1 RBM是这样一回事这个二维平面R被切成6个区域每一个区域对于一个X-形式在学习中如果参数从一个区域跨到另一个区域就相当于X-形式换成了另一个X-形式。更具体的讨论请参考英文原文。虽然2-1 RBM是一个很简单很特殊的例子但是这里揭示的情况把参数空间切成若干区域而每一个区域对应一个X-形式却是普遍的。 我们然后对3-1 RBMN-1 RBMN-M RBM都做了讨论也都清楚地看到这个情况把参数空间切成若干区域而每一个区域对应一个X-形式却是普遍的。 然后我们把RBM层叠起来就组成了Hinton的原初的深度学习模型。同样对这个模型我们也看到了把参数空间切成若干区域而每一个区域对应一个X-形式。 这样我们就清楚了深度学习模型究竟在干什么总结一下 1. 当模型在形成时就相当于把参数空间切成了若干区域。 2. 在任何一个这样的区域中虽然参数可以很不同但是其实都代表同一个X-形式而相应的处理也是相同的。仅有在参数跨过边界进入不同区域时才会发生不同的X-形式才会有不同的处理。 3. 深度学习就是在数据的驱动下从一个X-形式变到另一个X-形式。 更具体的讨论请参考我的英文原文 https://arxiv.org/pdf/1711.03577.pdf 当然Hinton的原初深度学习模型仅是深度学习模型的一种而且是最简单的一种。现在深度学习已经加入了更多的东西和方法如卷积池化剪枝等等。而且其中的非线性切断函数也是多样的不仅仅是Sign函数如ReLU。这些都给深度学习模型带来很多变化。但是这个基本情况仍然如此把参数空间切成有限块若干区域而每一个区域对应一个X-形式。当然切出来的区域就更复杂不是简单的超平面和直积切成的区域。 前面讲的这个深度学习的基本情况非常重要它决定了深度学习的基本能力和特征。当我们清楚了这个基本情况后我们就可以对深度学习的一些方面做一些评论 为什么深度学习能很有效 为什么深度学习很有效我认为有两个基本的原因 其一一个深度学习模型建立之时其实就决定了这个模型是否有效因为在这时这个模型能够触及的全部X-形式已经到位不可能再有新的X-形式来参与了。如果我们期望的X-形式已经在里面我们就有可能找到它。如果期望的X-形式不在里面那么无论我们付出多大的努力和具备多大的数据都不可能学习到期望的东西。因此深度学习模型的建立是决定性的。 其二已经发展出了一套比较有效的方法来寻找期望的X-形式当然如果这个X-形式不在那么这些方法也就无效。需要指出这套方法基本上建立在线性代数运算的基础上可以做到高度平行化。高度平行化是在现有计算结构下充分利用计算能力的必需。但是如果要加入动态调整如最新的“胶囊”方法这种高度平行化就可能失去。 *逻辑或者概率 通过我们的这个角度可以很清楚看清楚一个深度学习模型在处理输入信息到输出信息时是遵循一个逻辑陈述即其内部的X-形式是完全逻辑的并无随机因素。当然它是如何获得这个逻辑陈述即X-形式的就不排除随机因素。而且在实践中随机因素的成分可以相当大。 *数据和深度学习 深度学习中最重要的是数据驱动。但是有一个根本的问题就是需要多少数据才能够有效学习目前没有理论来说明。如果是一个完全概率的学习模型有足够的统计学理论来说明需要多少数据。但是如前所说深度学习的核心是X-形式而且这个X-形式可能相当复杂这就是深度嘛不可能凭空得到这个X-形式。只有在足够的数据支持下才有希望获得这个X-形式。那么需要多少数据什么数据我们已经有了一些初步理论来说明要什么数据多少数据。 *深度学习的重大不足 其1深度学习的基本特性决定了深度学习的能力极限那就是深度学习模型建立的时候就已经确定了所有可能的X-形式就是说当模型一旦确定它能够学习什么不能学习什么已经定下了极限再不能超越。这个特性使得很多事情成为不可能例如转移学习成为很困难的事情。尤其不可能做到通用学习机。 其2深度学习是在一个非常巨大的欧式空间中活动的这个欧式空间可能有上千万维。但是真正的学习却不在这个巨大的欧式空间中而是在那些切成的区域中这样的间接性就使得深度学习的很多性质很模糊例如很难清晰获得学习的动力学。 其3这样的间接性极大局限了深度学习的效能。非常可能大量的计算是浪费在不必要的运算上面。 其4这样把X-形式间接嵌入到区域中的方式使得深度学习很难做得可以解释。而可解释是非常需要的。 其5需要大量的数据。而无监督学习有重大困难。 *展望通用学习机 我们现在比较清楚了深度学习的各种问题。那么要克服这些问题走向更高效能的机器学习我们认为就需要展望通用学习机。 通用学习机就是可以学习任何东西的机器我们可以用一句话来讲通用学习机不需要人工的干预只要有数据就可以高效能学习学会数据里面隐含的东西。尤其不需要像深度学习那样需要预先人工搭好一个模型才能学习。我们对此已经对通用学习机做了一些理论工作也发明了一些具体实现的方法并且申请了专利。欢迎有更多的朋友一起来探索理论发明方法促进应用。 史元春 摄于北京 最后要对看到这里的朋友表示深深的谢意。穿过了很多艰涩的概念一直读到这里一定是对这些问题有极大的兴趣而且对这些问题已经有深入思考才能读到这里。谢谢大家。对读到这里的朋友们我就多说两句务虚的话。这个时代是激动人心的时代这是我们终于可以开始用数学和科学对人类最关键的知识领域——认识论——做探讨的时代。在这之前我们用数学和科学对我们的外部世界也包括人自己的身体做了许多伟大的探索形成了伟大的学问。但是对这个根本问题为什么人脑可以反射大千世界怎样反射大千世界还是基本停留在哲学层面没有也不可能深入到科学原理和数学细节上面。请注意现在伟大的帷幕已经在开启我们很快就可以在这个伟大的领域有所作为了。而这个领域的突破就意味整个科学和数学的巨大升华。我们碰到了这样的大时代是我们的幸运不是很多人有这种幸运的。我们要珍惜这个幸运。现有的深度学习仅是伟大帷幕开启的先声号角而通用学习机也仅是在这个方向做探索的一个小努力。帷幕正在开启大时代正在到来。让我们一起来迎接这个大时代。 两年前在中国因时差而反侧困顿梦境依稀中得一打油诗愿意和大家分享 记 梦 机械学习创新知 学习机器待奇思 反侧犹觉洞天地 一行一步渐趋之。 这里的洞天地指的是认识史上的高峰获取用机器来反射大千世界的基本规律并且建造机器来帮助我们获得更高层次的认识。这个高峰我恐怕是看不到的。但是当感觉或者幻觉到可以一行一步趋近的时候那种愉悦的确非常好以此和大家交流。 刘伟 摄于剑桥
