上海外贸网站推广服务,上海做网站备案要多久,专业网站seo优化公司,校友网站建设的重要性阿里妹导读#xff1a;作为 AI 大神#xff0c;贾扬清让人印象深刻的可能是他写的AI框架Caffe #xff0c;那已经是六年前的事了。经过多年的沉淀#xff0c;成为“阿里新人”的他#xff0c;对人工智能又有何看法#xff1f;最近#xff0c;贾扬清在阿里内部分享了他的…
阿里妹导读作为 AI 大神贾扬清让人印象深刻的可能是他写的AI框架Caffe 那已经是六年前的事了。经过多年的沉淀成为“阿里新人”的他对人工智能又有何看法最近贾扬清在阿里内部分享了他的思考与洞察欢迎共同探讨、交流。 贾扬清浙江上虞人毕业于清华大学自动化系在加州大学 Berkeley 分校获得计算机博士学位目前担任阿里计算平台掌门人。
最近几年深度学习的流行大家一般认为是从2012年 AlexNet 在图像识别领域的成功作为一个里程碑。AlexNet 提升了整个业界对机器学习的接受程度以前很多机器学习算法都处在“差不多能做 demo ”的程度但是 AlexNet 的效果跨过了很多应用的门槛造成了应用领域井喷式的兴趣。
当然任何事情都不是一蹴而就的在2012年以前很多成功的因素已经开始逐渐显现2009年的 ImageNet 数据库奠定了大量标注数据的基础2010年开始IDSIA 的 Dan Ciresan 首次用 GPGPU 进行物体识别2011年北京的 ICDAR 大会上神经网络在中文离线识别上大放异彩。就算是 AlexNet 中用到的ReLU层早在2001年神经科学的文献中就有提及过。所以一定程度上说神经网络的成功也是一个水到渠成的过程。2012年以后的事情大家可以读到很多这里就不再赘述。 成功与局限
在看待神经网络成功的同时我们也要进一步深挖其背后的理论背景和工程背景为什么神经网络和深度学习在几十年前失败但是现在却成功了它成功的原因是什么而它的局限又在什么地方我们这里只能片面地说几个重点
成功的原因一点是大数据一点是高性能计算。局限的原因一点是结构化的理解一点是小数据上的有效学习算法。
大量的数据比如说移动互联网的兴起以及 AWS 这样低成本获得标注数据的平台使机器学习算法得以打破数据的限制由于 GPGPU 等高性能运算的兴起又使得我们可以在可以控制的时间内以天为单位甚至更短进行 exaflop 级别的计算从而使得训练复杂网络变得可能。要注意的是高性能计算并不仅限于 GPU 在 CPU 上的大量向量化计算分布式计算中的 MPI 抽象这些都和60年代就开始兴起的 HPC 领域的研究成果密不可分。
但是我们也要看到深度学习的局限性。今天很多深度学习的算法还是在感知这个层面上形成了突破可以从语音、图像这些非结构化的数据中进行识别的工作。在面对更加结构化的问题的时候简单地套用深度学习算法可能并不能达到很好的效果。有的同学可能会问为什么 AlphaGo 和 Starcraft 这样的算法可以成功 一方面深度学习解决了感知的问题另一方面我们也要看到还有很多传统的非深度学习算法比如说 Q-learning 和其他增强学习的算法一起支撑起了整个系统。而且在数据量非常小的时候深度学习的复杂网络往往无法取得很好的效果但是很多领域特别是类似医疗这样的领域数据是非常难获得的这可能是接下去的一个很有意义的科研方向。
接下去深度学习或者更广泛地说AI 这个方向会怎么走我个人的感觉虽然大家前几年一直关注AI框架但是近年来框架的同质化说明了它不再是一个需要花大精力解决的问题TensorFlow 这样的框架在工业界的广泛应用以及各种框架利用 Python 在建模领域的优秀表现已经可以帮助我们解决很多以前需要自己编程实现的问题因此作为 AI 工程师我们应该跳出框架的桎梏往更广泛的领域寻找价值。
挑战
往上走我们会遇到产品和科研的很多新挑战比如说
传统的深度学习应用比如说语音、图像等等应该如何输出产品和价值比如说计算机视觉现在基本还是停留在安防这个层面上如何深入到医疗、传统工业甚至社会关爱如何帮助盲人看见这个世界这些领域是不仅需要技术还需要产品的思考的。除了语音和图像之外如何解决更多问题。在阿里和很多互联网企业中有一个“沉默的大多数”的应用就是推荐系统它常常占据了超过80%甚至90%的机器学习算力如何将深度学习和传统推荐系统进一步整合如何寻找新的模型如何对搜索和推荐的效果建模这些可能没有像语音和图像那么为人所知却是公司不可缺少的技能。即使在科研方向我们的挑战也刚刚开始Berkeley 的教授 Jitendra Malik 曾经说“我们以前是手工调算法现在是手工调网络架构如果囿于这种模式那人工智能无法进步”。如何走出手工调参的老路用智能提升智能是个非常有意思的问题。最开始的 AutoML 系统依然停留在用大量算力暴力搜索模型结构的层面上但是现在各种更高效的 AutoML 技术开始产生这是值得关注的。机会
往下走我们会发现传统的系统、体系结构等知识计算机软件工程的实践会给 AI 带来很多新的机会比如说
传统的 AI 框架都是手写高性能代码但是模型如此多变新的硬件平台层出不穷我们应该如何进一步提升软件效率我们已经看到有通过编译器技术和传统的人工智能搜索方法来反过来优化AI框架比如 Google 的 XLA 和华盛顿大学的 TVM这些项目虽然处于早期但是已经展现出它们的潜力。平台如何提升整合能力。在开源领域大家的做法是一个人一台机器几个 GPU 训练比较学院派的模型。但是在大规模应用中我们的数据量非常大模型非常复杂集群还会出现各种调度的挑战能不能一下子就要求256个 GPU 计算资源是否可以弹性调度这些对于我们自己的机器学习平台以及云上向客户提供的服务都提出了非常多的挑战。如何进行软硬件的协同设计。在深度学习的计算模式开始逐渐固化的时候比如说 CNN 新硬件和特殊硬件比如 ASIC 的优势就开始体现出来了。如何实现软硬件的协同设计防止“硬件出来了不知道怎么写程序”或者“模型已经变了硬件一出来就过时了”这样的问题会是将来几年中很大的方向。
人工智能是一个日新月异的领域我们有一个笑话说2012年的科研成果现在说起来都已经是上古时代的故事了。快速的迭代带来的大量机遇和挑战是非常令人兴奋的无论是有经验的研究者还是新学 AI 的工程师在当今云化智能化的年代如果能快速学习并刷新算法和工程的各种挑战就可以通过算法创新引领并且赋能社会各个领域。这方面人工智能领域开源开放的各种代码科研文章和平台给大家创造了比以前更容易的入门门槛机遇都掌握在我们自己手中。
原文链接 本文为云栖社区原创内容未经允许不得转载。
