ppt模板有哪些网站,闵行18路,深圳 网站建设公,百度关键词排名突然消失了背景知识 好的特征应具有不变性#xff08;大小、尺度和旋转等#xff09;和可区分性#xff09;#xff1a;例如Sift的出现#xff0c;是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性#xff0c;并…
背景知识 好的特征应具有不变性大小、尺度和旋转等和可区分性例如Sift的出现是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性并且SIFT具有很强的可区分性的确让很多问题的解决变为可能。
Deep Learning的一个别名UnsupervisedFeature Learning就可以顾名思义了Unsupervised的意思就是不要人参与特征的选取过程。 总的来说人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征再到V2区的形状或者目标的部分等再到更高层整个目标、目标的行为等。也就是说高层的特征是低层特征的组合从低层到高层的特征表示越来越抽象越来越能表现语义或者意图。而抽象层面越高存在的可能猜测就越少就越利于分类。 关于特征 特征表示的粒度
学习算法在一个什么粒度上的特征表示才有能发挥作用就一个图片来说像素级的特征根本没有价值。例如下面的摩托车从像素级别根本得不到任何信息其无法进行摩托车和非摩托车的区分。而如果特征是一个具有结构性或者说有含义的时候比如是否具有车把手handle是否具有车轮wheel就很容易把摩托车和非摩托车区分学习算法才能发挥作用。 初级浅层特征表示 既然像素级的特征表示方法没有作用那怎样的表示才有用呢 1995 年前后Bruno Olshausen和 David Field 两位学者任职 Cornell University他们试图同时用生理学和计算机的手段双管齐下研究视觉问题。 他们收集了很多黑白风景照片从这些照片中提取出400个小碎片每个照片碎片的尺寸均为 16x16 像素不妨把这400个碎片标记为 S[i], i 0,.. 399。接下来再从这些黑白风景照片中随机提取另一个碎片尺寸也是 16x16 像素不妨把这个碎片标记为 T。 他们提出的问题是如何从这400个碎片中选取一组碎片S[k], 通过叠加的办法合成出一个新的碎片而这个新的碎片应当与随机选择的目标碎片 T尽可能相似同时S[k] 的数量尽可能少。用数学的语言来描述就是 Sum_k (a[k] * S[k]) -- T, 其中 a[k] 是在叠加碎片 S[k] 时的权重系数。为解决这个问题Bruno Olshausen和 David Field 发明了一个算法稀疏编码Sparse Coding。
稀疏编码是一个重复迭代的过程每次迭代分两步 1选择一组 S[k]然后调整 a[k]使得Sum_k (a[k] * S[k]) 最接近 T。 2固定住 a[k]在 400 个碎片中选择其它更合适的碎片S’[k]替代原先的 S[k]使得Sum_k (a[k] * S’[k]) 最接近 T。 经过几次迭代后最佳的 S[k] 组合被遴选出来了。令人惊奇的是被选中的 S[k]基本上都是照片上不同物体的边缘线这些线段形状相似区别在于方向。 Bruno Olshausen和 David Field 的算法结果与 David Hubel 和Torsten Wiesel 的生理发现不谋而合 也就是说复杂图形往往由一些基本结构组成。比如下图一个图可以通过用64种正交的edges可以理解成正交的基本结构来线性表示。比如样例的x可以用1-64个edges中的三个按照0.8,0.3,0.5的权重调和而成。而其他基本edge没有贡献因此均为0 。 另外大牛们还发现不仅图像存在这个规律声音也存在。他们从未标注的声音中发现了20种基本的声音结构其余的声音可以由这20种基本结构合成。 浅层学习Shallow Learning和深度学习Deep Learning 浅层学习是机器学习的第一次浪潮。 20世纪80年代末期用于人工神经网络的反向传播算法也叫Back Propagation算法或者BP算法的发明给机器学习带来了希望掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统在很多方面显出优越性。这个时候的人工神经网络虽也被称作多层感知机Multi-layer Perceptron但实际是种只含有一层隐层节点的浅层模型。 20世纪90年代各种各样的浅层机器学习模型相继被提出例如支撑向量机SVMSupport Vector Machines、 Boosting、最大熵方法如LRLogistic Regression等。这些模型的结构基本上可以看成带有一层隐层节点如SVM、Boosting或没有隐层节点如LR。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下由于理论分析的难度大训练方法又需要很多经验和技巧这个时期浅层人工神经网络反而相对沉寂。
深度学习是机器学习的第二次浪潮。
2006年加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点 1多隐层的人工神经网络具有优异的特征学习能力学习得到的特征对数据有更本质的刻画从而有利于可视化或分类 2深度神经网络在训练上的难度可以通过“逐层初始化”layer-wise pre-training来有效克服在这篇文章中逐层初始化是通过无监督学习实现的。 当前多数分类、回归等学习方法为浅层结构算法其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限针对复杂分类问题其泛化能力受到一定制约。 深度学习可通过学习一种深层非线性网络结构实现复杂函数逼近表征输入数据分布式表示并展现了强大的从有限样本集中学习数据集本质特征的能力。多层的好处是可以用较少的参数表示复杂的函数 深度学习的实质是通过构建具有很多隐层的机器学习模型和海量的训练数据来学习更有用的特征从而最终提升分类或预测的准确性。因此“深度模型”是手段“特征学习”是目的。 区别于传统的浅层学习深度学习的不同在于 1强调了模型结构的深度通常有5层、6层甚至10多层的隐层节点 2明确突出了特征学习的重要性也就是说通过逐层特征变换将样本在原空间的特征表示变换到一个新特征空间从而使分类或预测更加容易。 与人工规则构造特征的方法相比利用大数据来学习特征更能够刻画数据的丰富内在信息。 deep的含义就是多层神经元网络每一层代表一种层次的概念越往下概念的正交性越好越往上概念的正交性越差越具有相似度。因为高层概念彼此可能互相包含了相同的基本结构。 高层概念分离出基本结构的方法也很容易理解就是打散了聚类 关于算法和算力的讨论详见 算法还是算力周志华微博引爆深度学习的“鸡生蛋蛋生鸡”问题
周志华 最重要的进步是由机器学习技术的进步带来的计算能力起到了促进作用而不是根本作用。 机器学习的进步使我们从‘不能’到‘能’计算能力的进步使我们从‘能’到‘更好’。试图抹杀前者的作用认为一切都是计算能力提高带来的是错误且危险的。
中科院计算所的包云岗研究员则表示“算法进步和计算能力进步对今天AI都不可或缺”二者相辅相成。其中算力提升的作用则表现在运行时间减少、功耗降低、开发效率提高这几大方面进步相当显著。
Hinton其中第一次明确提到计算能力是其研究能成功的三大条件之一“provided that computers were fast enough, data sets were big enough,and the initial weights were close enough to a good solution”。 Hinton老爷子2006年的算法突破终究离不开当时的数据集与计算机硬件。 Deep learning与Neural Network 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征以发现数据的分布式特征表示。
Deep learning本身算是machine learning的一个分支简单可以理解为neural network的发展。大约二三十年前neural network曾经是ML领域特别火热的一个方向但是后来确慢慢淡出了原因包括以下几个方面 1比较容易过拟合参数比较难tune而且需要不少trick 2训练速度比较慢在层次比较少小于等于3的情况下效果并不比其它方法更优 所以中间有大约20多年的时间神经网络被关注很少这段时间基本上是SVM和boosting算法的天下。但是一个痴心的老先生Hinton他坚持了下来并最终和其它人一起Bengio、Yann.lecun等提成了一个实际可行的deep learning框架。
Deep learning与传统的神经网络之间有相同的地方也有很多不同。
二者的相同在于deep learning采用了神经网络相似的分层结构系统由包括输入层、隐层多层、输出层组成的多层网络只有相邻层节点之间有连接同一层以及跨层节点之间相互无连接每一层可以看作是一个logistic regression模型这种分层结构是比较接近人类大脑的结构的。
而为了克服神经网络训练中的问题DL采用了与神经网络很不同的训练机制。 传统神经网络中采用的是back propagation的方式进行简单来讲就是采用迭代的算法来训练整个网络随机设定初值计算当前网络的输出然后根据当前输出和label之间的差去改变前面各层的参数直到收敛整体是一个梯度下降法。 而deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为如果采用back propagation的机制对于一个deep network7层以上残差传播到最前面的层已经变得太小出现所谓的gradient diffusion梯度扩散。 Deep learning训练过程 传统神经网络的训练方法为什么不能用在深度神经网络
BP算法作为传统训练多层网络的典型算法实际上对仅含几层网络该训练方法就已经很不理想。深度结构涉及多个非线性处理单元层非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。
BP算法存在的问题 1梯度越来越稀疏从顶层越往下误差校正信号越来越小 2收敛到局部最小值尤其是从远离最优区域开始的时候随机值初始化会导致这种情况的发生 3一般我们只能用有标签的数据来训练但大部分的数据是没标签的而大脑可以从没有标签的的数据中学习 deep learning训练过程
如果对所有层同时训练时间复杂度会太高如果每次训练一层偏差就会逐层传递。这会面临跟上面监督学习中相反的问题会严重欠拟合因为深度网络的神经元和参数太多了。
2006年hinton提出了在非监督数据上建立多层神经网络的一个有效方法简单的说分为两步 一是每次训练一层网络二是调优使原始表示x向上生成的高级表示r和该高级表示r向下生成的x’尽可能一致。方法是 1首先逐层构建单层神经元这样每次都是训练一个单层网络。 2当所有层训练完后Hinton使用wake-sleep算法进行调优。 将除最顶层的其它层间的权重变为双向的这样最顶层仍然是一个单层神经网络而其它层则变为了图模型。向上的权重用于“认知”向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸那么所有人脸的图像应该激活这个结点并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。Wake-Sleep算法分为醒wake和睡sleep两个部分。 1wake阶段认知过程通过外界的特征和向上的权重认知权重产生每一层的抽象表示结点状态并且使用梯度下降修改层间的下行权重生成权重。也就是“如果现实跟我想象的不一样改变我的权重使得我想象的东西就是这样的”。 2sleep阶段生成过程通过顶层表示醒时学得的概念和向下权重生成底层的状态同时修改层间向上的权重。也就是“如果梦中的景象不是我脑中的相应概念改变我的认知权重使得这种景象在我看来就是这个概念”。 备注wake阶段的解释
deep learning训练过程具体如下 1使用自下上升非监督学习就是从底层开始一层一层的往顶层训练 采用无标定数据有标定数据也可分层训练各层参数这一步可以看作是一个无监督训练过程是和传统神经网络区别最大的部分这个过程可以看作是feature learning过程 具体的先用无标定数据训练第一层训练时先学习第一层的参数这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层由于模型capacity的限制以及稀疏性约束使得得到的模型能够学习到数据本身的结构从而得到比输入更具有表示能力的特征在学习得到第n-1层后将n-1层的输出作为第n层的输入训练第n层由此分别得到各层的参数 2自顶向下的监督学习就是通过带标签的数据去训练误差自顶向下传输对网络进行微调 基于第一步得到的各层参数进一步fine-tune整个多层模型的参数这一步是一个有监督训练过程第一步类似神经网络的随机初始化初值过程由于DL的第一步不是随机初始化而是通过学习输入数据的结构得到的因而这个初值更接近全局最优从而能够取得更好的效果所以deep learning效果好很大程度上归功于第一步的feature learning过程。 Deep Learning的常用模型或者方法 AutoEncoder自动编码器
Deep Learning最简单的一种方法是利用人工神经网络的特点人工神经网络ANN本身就是具有层次结构的系统如果给定一个神经网络我们假设其输出与输入是相同的然后训练调整其参数得到每一层中的权重。自然地我们就得到了输入I的几种不同表示每一层代表一种表示这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现自动编码器就必须捕捉可以代表输入数据的最重要的因素就像PCA那样找到可以代表原信息的主要成分。
具体过程简单的说明如下 1给定无标签数据用非监督学习学习特征 在我们之前的神经网络中如第一个图我们输入的样本是有标签的即input, target这样我们根据当前输出和targetlabel之间的差去改变前面各层的参数直到收敛。但现在我们只有无标签数据也就是右边的图。那么这个误差怎么得到呢 如上图我们将input输入一个encoder编码器就会得到一个code这个code也就是输入的一个表示那么我们怎么知道这个code表示的就是input呢我们加一个decoder解码器这时候decoder就会输出一个信息那么如果输出的这个信息和一开始的输入信号input是很像的理想情况下就是一样的那很明显我们就有理由相信这个code是靠谱的。所以我们就通过调整encoder和decoder的参数使得重构误差最小这时候我们就得到了输入input信号的第一个表示了也就是编码code了。因为是无标签数据所以误差的来源就是直接重构后与原输入相比得到。 2通过编码器产生特征然后训练下一层。这样逐层训练 那上面我们就得到第一层的code我们的重构误差最小让我们相信这个code就是原输入信号的良好表达了或者牵强点说它和原信号是一模一样的表达不一样反映的是一个东西。那第二层和第一层的训练方式就没有差别了我们将第一层输出的code当成第二层的输入信号同样最小化重构误差就会得到第二层的参数并且得到第二层输入的code也就是原输入信息的第二个表达了。其他层就同样的方法炮制就行了训练这一层前面层的参数都是固定的并且他们的decoder已经没用了都不需要了。 3有监督微调 经过上面的方法我们就可以得到很多层了。至于需要多少层或者深度需要多少这个目前本身就没有一个科学的评价方法需要自己试验调了。每一层都会得到原始输入的不同的表达。当然了我们觉得它是越抽象越好了就像人的视觉系统一样。
到这里这个AutoEncoder还不能用来分类数据因为它还没有学习如何去连结一个输入和一个类。它只是学会了如何去重构或者复现它的输入而已。或者说它只是学习获得了一个可以良好代表输入的特征这个特征可以最大程度上代表原输入信号。那么为了实现分类我们就可以在AutoEncoder的最顶的编码层添加一个分类器例如(LogicalRegression) 逻辑回归、SVM等然后通过标准的多层神经网络的监督训练方法梯度下降法去训练。
也就是说这时候我们需要将最后层的特征code输入到最后的分类器通过有标签样本通过监督学习进行微调这也分两种一个是只调整分类器黑色部分 另一种通过有标签样本微调整个系统如果有足够多的数据这个是最好的。end-to-end learning端对端学习 一旦监督训练完成这个网络就可以用来分类了。神经网络的最顶层可以作为一个线性分类器然后我们可以用一个更好性能的分类器去取代它。
在研究中可以发现如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度甚至在分类问题中比目前最好的分类算法效果还要好
自动编码参考文献 Autoencoders were first introduced in the 1980s by Hinton and the PDP group (Rumelhart et al., 1986 [18]) to address the problem of backpropagation without a teacher, by using the input data as the teacher. 《Learning internal representations by error propagation》
AutoEncoder存在一些变体这里简要介绍下两个
Sparse AutoEncoder稀疏自动编码器
当然我们还可以继续加上一些约束条件得到新的Deep Learning方法如如果在AutoEncoder的基础上加上L1的Regularity限制L1主要是约束每一层中的节点中大部分都要为0只有少数不为0这就是Sparse名字的来源我们就可以得到Sparse AutoEncoder法。 如上图其实就是限制每次得到的表达code尽量稀疏。因为稀疏的表达往往比其他的表达要有效人脑好像也是这样的某个输入只是刺激某些神经元其他的大部分的神经元是受到抑制的。
Denoising AutoEncoders降噪自动编码器
降噪自动编码器DA是在自动编码器的基础上训练数据加入噪声所以自动编码器必须学习去去除这种噪声而获得真正的没有被噪声污染过的输入。因此这就迫使编码器去学习输入信号的更加鲁棒的表达这也是它的泛化能力比一般编码器强的原因。DA可以通过梯度下降算法去训练。 备注 降噪自动编码器DA 可以使用梯度下降的方法进行训练降噪自动编码器DA只有一层而梯度弥散和局部最优是相对多层而言的。 自顶向下 微调整个网络的参数 把深度网络看做多层神经网络我们传统的训练神经网络的方法是先随机的初始化网络的参数然后用有标签样本来进行BP训练整个网络。但这样的训练对多层网络来说会产生梯度扩散随机的初始化也会容易陷入不好的局部最小值总之用传统方法去训练多层深度网络是不好的。 有效的深度网络训练方法就是逐层的非监督训练前面的层然后再堆叠一个分类层。我们前面逐层预训练的得到的参数给我们的整个神经网络提供一个比较好的初始化的参数这样可以更好的避免局部最优然后我们再用有标签样本来训练这整个网络这样可以避免整个网络BP产生的梯度扩散问题。这样的训练方法对深度网络来说才是有效的。 Sparse Coding稀疏编码
如果我们把输出必须和输入相等的限制放松同时利用线性代数中基的概念即O a1*Φ1 a2*Φ2…. an*Φn Φi是基ai是系数我们可以得到这样一个优化问题
Min |I – O|其中I表示输入O表示输出。
通过求解这个最优化式子我们可以求得系数ai和基Φi这些系数和基就是输入的另外一种近似表达。 因此它们可以用来表达输入I这个过程也是自动学习得到的。如果我们在上述式子上加上L1的Regularity限制得到
Min |I – O| u*(|a1| |a2| … |an |)
这种方法被称为Sparse Coding。通俗的说就是将一个信号表示为一组基的线性组合而且要求只需要较少的几个基就可以将信号表示出来。 “稀疏性”定义为只有很少的几个非零元素或只有很少的几个远大于零的元素。要求系数 ai 是稀疏的意思就是说对于一组输入向量我们只想有尽可能少的几个系数远大于零。选择使用具有稀疏性的分量来表示我们的输入数据是有原因的因为绝大多数的感官数据比如自然图像可以被表示成少量基本元素的叠加在图像中这些基本元素可以是面或者线。同时比如与初级视觉皮层的类比过程也因此得到了提升人脑有大量的神经元但对于某些图像或者边缘只有很少的神经元兴奋其他都处于抑制状态。
稀疏编码算法是一种无监督学习方法它用来寻找一组“超完备”基向量来更高效地表示样本数据。虽然形如主成分分析技术PCA能使我们方便地找到一组“完备”基向量但是这里我们想要做的是找到一组“超完备”基向量来表示输入向量也就是说基向量的个数比输入向量的维数要大。超完备基的好处是它们能更有效地找出隐含在输入数据内部的结构与模式。然而对于超完备基来说系数ai不再由输入向量唯一确定。因此在稀疏编码算法中我们另加了一个评判标准“稀疏性”来解决因超完备而导致的退化degeneracy问题。详细过程请参考UFLDL Tutorial稀疏编码 比如在图像的Feature Extraction的最底层要做Edge Detector的生成那么这里的工作就是从Natural Images中randomly选取一些小patch通过这些patch生成能够描述他们的“基”也就是右边的8*864个basis组成的basis然后给定一个test patch, 我们可以按照上面的式子通过basis的线性组合得到而sparse matrix就是a下图中的a中有64个维度其中非零项只有3个故称“sparse”。
这里可能大家会有疑问为什么把底层作为Edge Detector呢上层又是什么呢这里做个简单解释大家就会明白之所以是Edge Detector是因为不同方向的Edge就能够描述出整幅图像所以不同方向的Edge自然就是图像的basis了……而上一层的basis组合的结果上上层又是上一层的组合basis……
Sparse coding分为两个部分 1Training阶段给定一系列的样本图片[x1, x 2, …]我们需要学习得到一组基[Φ1, Φ2, …]也就是字典。 稀疏编码是k-means算法的变体其训练过程也差不多EM算法的思想如果要优化的目标函数包含两个变量如L(W, B)那么我们可以先固定W调整B使得L最小然后再固定B调整W使L最小这样迭代交替不断将L推向最小值。EM算法可以见我的博客“从最大似然到EM算法浅解”。
训练过程就是一个重复迭代的过程按上面所说我们交替的更改a和Φ使得下面这个目标函数最小。 每次迭代分两步 a固定字典Φ[k]然后调整a[k]使得上式即目标函数最小即解LASSO问题。 b然后固定住a [k]调整Φ [k]使得上式即目标函数最小即解凸QP问题。 不断迭代直至收敛。这样就可以得到一组可以良好表示这一系列x的基也就是字典。 2Coding阶段给定一个新的图片x由上面得到的字典通过解一个LASSO问题得到稀疏向量a。这个稀疏向量就是这个输入向量x的一个稀疏表达了。 例如 ☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆ Restricted Boltzmann Machine (RBM)限制波尔兹曼机
Deep Learning深度学习学习笔记整理系列之六 上面网页写的比较乱有待进一步优化和重新总结。 ☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆
受限玻尔兹曼机RBM学习笔记三能量函数和概率分布
RBM MATLAB code
《A practical guide to training restricted Boltzmann machines V1》
《A practical guide to training restricted Boltzmann machines V2》 RBM训练指导手册粗略A Practical Guide to Training Restricted Boltzmann Machines
A Beginner’s Tutorial for Restricted Boltzmann Machines Convolutional Neural Networks卷积神经网络 ☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆
Deep Learning深度学习学习笔记整理系列之七 上面网页讲解比较粗糙需要重新整理和总结。 卷积神经网络请阅读下面博文 李宏毅机器学习课程10~~~卷积神经网络
☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆☆ 训练算法与传统的BP算法差不多。主要包括4步这4步被分为两个阶段
第一阶段向前传播阶段 a从样本集中取一个样本(X,Yp)将X输入网络 b计算相应的实际输出Op。 在此阶段信息从输入层经过逐级的变换传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中网络执行的是计算实际上就是输入与每层的权值矩阵相点乘得到最后的输出结果 OpFn…F2F1XpW1W2…Wn第二阶段向后传播阶段 a算实际输出Op与相应的理想输出Yp的差 b按极小化误差的方法反向传播调整权矩阵。 BP 算法请阅读下面的博文 李宏毅机器学习课程7~~~反向传播 Calculus on Computational Graphs: Backpropagation 卷积神经网络CNN基本概念笔记
参考文献和Deep Learning学习资源 参考文献 吴恩达 Andrew Ng 的公开课
无监督特征学习——Unsupervised feature learning and deep learning
Deep Learning深度学习学习笔记整理系列
UFLDL_Tutorial
UFLDL教程
2012 Machine Learning and AI via Brain simulations
2011Machine Learning and AI via Brain simulations - Stanford Computer
NIPS - Video Machine Learning and AI via Brain simulations
2013-08-01 Prof. Andrew Ng: “Deep Learning: Machine learning via Large-scale Brain Simulations”
Hugo Larochelle 教授的神经网络课程 http://info.usherbrooke.ca/hlarochelle/cours/ift725_A2013/contenu.html
deep learning at oxford 2015
