3d建站,WordPress中文king主题,南通建设中标查询网站,建网站-湛江市人工智能背景#xff1a;人工智能最初可以追溯至1956年#xff0c;当时多名计算机科学家在达特茅斯会议上共同提出了人工智能的概念。在随后几十年中#xff0c;人工智能一方面被认为是人类文明未来的发展方向#xff0c;另一方面也被认为是难以企及的梦想。实际上#xf… 人工智能背景人工智能最初可以追溯至1956年当时多名计算机科学家在达特茅斯会议上共同提出了人工智能的概念。在随后几十年中人工智能一方面被认为是人类文明未来的发展方向另一方面也被认为是难以企及的梦想。实际上直到2012年之前情况一直如此。 定义人工智能Artificial IntelligenceAI是机器模拟人的意识和思维让计算机具备人类拥有如感知、学习、记忆、推理、决策等的能力。细分为 机器感知机器视觉、NLP学习模式识别、机器学习、增强学习、迁移学习等记忆知识表示决策规划、数据挖掘、专家系统等在机器上实现人工智能 智能的三个核心部分学习存储应用在自然界中有自然界的实现方式。 消费级人工智能产品谷歌 Assistant、微软 Cortana、苹果 Siri、亚马逊 Alexa、阿里的天猫精灵、小米的小爱同学。 人工智能的先锋 Geoffrey Hinton多伦多大学教授谷歌大脑多伦多分部负责人人工智能领域的鼻祖他发表了许多让神经网络得以应用的论文激活了整个人工智能领域。他还培养了许多人工智能的大家。如LeCun就是他的博士后。Yan LeCun纽约大学教授Facebook人工智能研究室负责人他改进了卷积神经网络CNN算法使CNN具有了工程应用价值现在CNN依旧是计算机视觉领域最有效的模型之一。Yoshua Bengio蒙特利尔大学教授现任微软公司战略顾问他推动了循环神经网络RNN算法的发展使RNN得到了工程应用用RNN解决了自然语言处理中的问题。机器学习实现人工智能的方法背景 机器学习的概念来自于人工智能发展的早期。随后多年中基于算法的方法包括决策树学习、归纳逻辑编程、聚类算法、强化学习以及贝叶斯网络等等。正如我们所知这些技术最终都未能形成通用人工智能而早期的机器学习方法甚至也没有带来狭义人工智能。 机器学习 (Machine Learning) 是近 20 多年兴起的一门多领域交叉学科涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。 定义机器学习是一种统计学习方法计算机用已有的数据得出某种模型再利用模型预测结果。如果一个程序可以在任务T上随着经验E的增加效果P也可以随之增加则称这个程序可以从经验中学习。 卡内基梅隆大学Carnegie Mellon University的Tom Michael Mitchell教授在1997年出版的书籍Machine Learning中对机器学习进行过非常专业的定义这个定义在学术界内被多次引用。通过垃圾邮件分类的问题来解释机器学习的定义。在垃圾邮件分类问题中“一个程序”指的是需要用到的机器学习算法比如逻辑回归算法“任务T”是指区分垃圾邮件的任务“经验E”为已经区分过是否为垃圾邮件的历史邮件在监督式机器学习问题中这也被称之为训练数据“效果P”为机器学习算法在区分是否为垃圾邮件任务上的正确率。 机器学习三要素 分类机器学习利用算法去分析数据、学习数据随后对现实世界情况作出判断和预测。因此与预先编写好、只能按照特定逻辑去执行指令的软件不同机器实际上是在用大量数据和算法去“自我训练”从而学会如何完成一项任务。机器学习可以分为以下几类 监督学习 Supervised Learning从给定的数据集中学习出一个函数, 当新的数据到来时, 可以根据这个函数预测结果, 训练集通常由人工标注无监督学习 Unsupervised Learning相较于监督学习, 没有人工标注强化学习Reinforcement Learning增强学习通过观察通过什么样的动作获得最好的回报, 每个动作都会对环境有所影响, 学习对象通过观察周围的环境进行判断半监督学习Semi-supervised Learning介于监督学习和无监督学习深度学习 (Deep Learning)利用深层网络神经模型, 抽象数据表示特征。 也有资料说明深度学习是无监督学习的一种。 机器学习面临的挑战 数据会以各种形式和大小出现。真实数据集可能比较混乱、不完整并且采用各种不同格式提供。预处理数据可能需要掌握专业知识和工具 。例如对象检测算法训练中的特征选取需要掌握图像处理领域的专业知识。不同类型的数据的特征选取需要掌握图像处理领域的专业知识。不同类型的数据找到拟合数据的最佳模型需要时间。 如何选择正确的模型是一项平衡过程。高度灵活的模型由于拟合了噪声的细微变化而造成了过度拟合。另一方面简单的模型可能要有更多的假设条件。这些始终是在模型速度、准确性和复杂性之间权衡取舍。深度学习深层次神经网络/实现机器学习的技术背景2006年加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章开启了深度学习在学术界和工业界的浪潮。这篇文章动机在于建立、模拟人脑进行分析学习文章有两个主要观点 1多隐层的人工神经网络具有优异的特征学习能力学习得到的特征对数据有更本质的刻画从而有利于可视化或分类 2深度神经网络在训练上的难度可以通过“逐层初始化”layer-wise pre-training来有效克服在这篇文章中逐层初始化是通过无监督学习实现的。 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征以发现数据的分布式特征表示。 Deep learning本身算是machine learning的一个分支简单可以理解为neural network的发展。大约二三十年前neural network曾经是ML领域特别火热的一个方向但是后来确慢慢淡出了原因包括以下几个方面1比较容易过拟合参数比较难tune而且需要不少trick2训练速度比较慢在层次比较少小于等于3的情况下效果并不比其它方法更优 所以中间有大约20多年的时间神经网络被关注很少这段时间基本上是SVM和boosting算法的天下。但是一个痴心的老先生Hinton他坚持了下来并最终和其它人一起Bengio、Yann.lecun等提成了一个实际可行的deep learning框架。 定义深度学习(Deep learning)是通过构建具有很多隐层的机器学习模型和海量的训练数据来学习更有用的特征从而最终提升分类或预测的准确性。因此“深度模型”是手段“特征学习”是目的。区别于传统的浅层学习深度学习的不同在于 1强调了模型结构的深度通常有5层、6层甚至10多层的隐层节点 2明确突出了特征学习的重要性也就是说通过逐层特征变换将样本在原空间的特征表示变换到一个新特征空间从而使分类或预测更加容易。与人工规则构造特征的方法相比利用大数据来学习特征更能够刻画数据的丰富内在信息。 深度学习的训练过程 为了克服神经网络训练中的问题DL采用了与神经网络很不同的训练机制。深度学习与传统的神经网络在训练机制上存在差异 传统神经网络这里作者主要指前向神经网络中采用的是back propagation的方式进行简单来讲就是采用迭代的算法来训练整个网络随机设定初值计算当前网络的输出然后根据当前输出和label之间的差去改变前面各层的参数直到收敛整体是一个梯度下降法。 deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为如果采用back propagation的机制对于一个deep network7层以上残差传播到最前面的层已经变得太小出现所谓的gradient diffusion梯度扩散。 如果对所有层同时训练时间复杂度会太高如果每次训练一层偏差就会逐层传递。这会面临跟上面监督学习中相反的问题会严重欠拟合因为深度网络的神经元和参数太多了。 2006年hinton提出了在非监督数据上建立多层神经网络的一个有效方法简单的说分为两步一是每次训练一层网络相当于参数的初始化二是调优使原始表示x向上生成的高级表示r和该高级表示r向下生成的x’尽可能一致。 具体的训练方法是 1首先逐层构建单层神经元这样每次都是训练一个单层网络。采用无标定数据有标定数据也可分层训练各层参数这一步可以看作是一个无监督训练过程是和传统神经网络区别最大的部分这个过程可以看作是feature learning过程。 使用自下上升非监督学习就是从底层开始一层一层的往顶层训练 2当所有层训练完后使用wake-sleep算法进行调优。wake-sleep算法进行调优,是自顶向下的监督学习就是通过带标签的数据去训练误差自顶向下传输对网络进行微调 将除最顶层的其它层间的权重变为双向的这样最顶层仍然是一个单层神经网络而其它层则变为了图模型。向上的权重用于“认知”向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸那么所有人脸的图像应该激活这个结点并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。Wake-Sleep算法分为醒wake和睡sleep两个部分。 1wake阶段认知过程通过外界的特征和向上的权重认知权重产生每一层的抽象表示结点状态并且使用梯度下降修改层间的下行权重生成权重。也就是“如果现实跟我想象的不一样改变我的权重使得我想象的东西就是这样的”。 2sleep阶段生成过程通过顶层表示醒时学得的概念和向下权重生成底层的状态同时修改层间向上的权重。也就是“如果梦中的景象不是我脑中的相应概念改变我的认知权重使得这种景象在我看来就是这个概念”。 常见的深度学习算法包括受限波尔兹曼机Restricted Boltzmann Machine RBN深度置信网络Deep Belief NetworksDBN卷积神经网络Convolutional Neural Network, CNN堆栈式自动编码器Stacked Auto-encodersSAE。 神经网络背景人工神经网络在人工智能的诞生早期就已出现但在“智能性”方面一直未能取得太大突破。问题在于最基本的神经网络也需要大量的计算资源因此很难实现。不过由多伦多大学的吉奥夫里•辛顿Geoffrey Hinton带领的一个小型研究团队持续地进行这方面的尝试最终找到了一种可以由超级计算机运行的算法证明了这一概念。然而直到GPU开始大规模部署之后这种技术才得以普及。 神经网络的发展历史 第一次兴起1958年人们把两层神经元首尾相接则称单层神经网络称为感知机。感知机成了首个可以学习的人工神经网络。引发了神经网络研究的第一次兴起。第二次寒冬1969年这个领域的权威者Minsky用数学公式证明了只有单层神经网络的感知机无法对异或逻辑进行分类Minsky还指出要想解决异或逻辑可分问题需要把单层神经网络扩展到两层或者以上。然而那个时代计算机的运算能力无法支撑这种运算量。只有一层计算单元的感知机暴露了它的天然缺陷使得神经网络陷入第一次寒冬。第二次兴起1986年Hinton等人提出了方向传播方法BP有效地解决了两层神经网络的算理问题引发了神经网络研究的第二次兴起。第二次寒冬1995年支持向量机SVM诞生支持向量机可以免去神经网络需要调节参数的不足还避免了神经网络中局部最优问题一举击败神经网络称为当时人工智能领域的主流算法使得神经网络进入了第二个冬季。第二次兴起2006年深层次神经网络出现2012年卷积神经网络在图像识别领域中的惊人表现又引发了神经网络研究的第三次兴起。 定义人工神经网络Artificial Neural Network即ANN 是由大量的简单处理单元经广泛并行互连形成的一种网络系统。它是对人脑系统的简化、抽象和模拟具有大脑功能的许多基本特征。 关系人工智能与机器学习 机器学习是实现人工智能的手段, 其主要研究内容是如何利用数据或经验进行学习, 改善具体算法的性能多领域交叉, 涉及概率论、统计学, 算法复杂度理论等多门学科广泛应用于网络搜索、垃圾邮件过滤、推荐系统、广告投放、信用评价、欺诈检测、股票交易和医疗诊断等应用。 人工智能的根本在于智能而机器学习则是部署支持人工智能的计算方法。简单的讲人工智能是科学机器学习是让机器变得更加智能的算法机器学习在某种程度上成就了人工智能。 机器学习与深度学习 深度学习是机器学习研究中的一个新的领域其动机在于建立、模拟人脑进行分析学习的神经网络它模仿人脑的机制来解释数据例如图像声音和文本。深度学习是无监督学习的一种。 深度学习与神经网络 深度学习算法是对人工神经网络的发展。在计算能力变得日益廉价的今天深度学习试图建立大得多也复杂得多的神经网络。很多深度学习的算法是半监督式学习算法用来处理存在少量未标识数据的大数据集。 现代的深度学习已经超越了神经科学观点它可以更广泛地适用于各种并不是由神经网络启发而来的机器学习框架。值得注意的是有一个领域的研究者试图从算法层理解大脑的工作机制它不同于深度学习的领域被称为“计算神经学”computational neuroscience。深度学习领域主要关注如何搭建智能的计算机系统解决人工智能中遇到的问题。计算神经学则主要关注如何建立更准确的模型来模拟人类大脑的工作。 Neural networks, a beautiful biologically-inspired programming paradigm which enables a computer to learn from observational data Deep learning, a powerful set of techniques for learning in neural networks 参考 无监督学习简单读懂人工智能机器学习与深度学习是什么关系系统学习深度学习一 –深度学习与神经网络关系Neural Networks and Deep Learning机器学习算法汇总人工神经网络、深度学习及其它
