网站建设用户需求,3d效果图设计制作,网级移动营销app下载,建设银行网站查询密码怎么开通人工智能生态发展趋势
大家好#xff0c;我是林伟#xff0c;我今天演讲的主题是《AI 突破无限可能—5 亿消费者的云上双 11》。我本人是做系统出身的#xff0c;但在最近的一些会议上发现#xff0c;越来越多做系统出身的人开始研究 AI。在 90 年代末的那波热潮里#x…
人工智能生态发展趋势
大家好我是林伟我今天演讲的主题是《AI 突破无限可能—5 亿消费者的云上双 11》。我本人是做系统出身的但在最近的一些会议上发现越来越多做系统出身的人开始研究 AI。在 90 年代末的那波热潮里我有幸在学校的人工智能实验室呆过那时还在纠结模型效果最后发现是自己想多了那时做出来的东西还远远达不到可用的状态。在后来的一段时间内AI 进入沉寂最近几年又突然火爆我在一些学校做交流的时候发现很多同学都在研究 AI 算法但其实神经网络、遗传算法和模拟算法很多年前就已经出现最近几年才爆发的最主要原因是数据和算力的提升。
在这之中云计算也起到了很大作用只有算力更加充足才可以拟合出更加有效的模型这也是阿里巴巴 2009 年坚定投入云计算的重要原因。说到阿里云其实阿里云有个非常大的客户就是阿里巴巴自己的电商业务而阿里电商全年最重要的一个活动就是双 11。
过去几年阿里双 11 的营业额逐渐升高这背后更深层次的原因其实是我们实现了核心系统的 100% 上云。上云之后我们发现 AI 离不开计算只有具备强大的计算力才可以利用 AI 技术提高效率双 11 就是一个很好的练兵场。在这样的规模下如何构造系统、处理数据以及迅速挖掘数据背后的价值是我们在思考的问题。
在整个大趋势下面我们可以看到三个因素一是实时化。 双 11 就一天我们必须理解数据并及时反馈给商家实时性非常重要双 11 大屏背后的支撑系统就是通过 Flink 实现实时计算。单纯的销售额可能没有特别大的意义我们需要进行实时分析以得到更细致的指标比如用户的购买兴趣、商品类别、供销比、渠道、仓储位置和货源等我们需要通过实时分析及时反馈给商家、快递公司等让各方都可以明确如何调整双 11 当天的策略。今年双 11我们每秒可以处理 25.5 亿条消息包括买卖消息、快递请求等。 二是规模性。 我们不仅需要实时反馈双 11 结束还需要精细对账给银行和商家。今年我们仅花费一天时间也就是 11 月 12 日就完成了所有报表汇报这就是通过云平台的弹性来实现的。在这么大的规模下商家服务效率也是一个问题原来就是靠人用电话和小二来服务商家现在这样的规模体系下就需要用 AI 技术来服务商家并通过 AI 辅助快递配送比如机器人可能会询问用户在不在家包裹放在哪里等问题。在大家以往的印象中AI 离生活很远但辅助快递配送就是一个很具体的场景可以为用户带来更好的体验包括淘宝首页的个性化推荐等。
如今淘宝推荐也会有一些动态封面这背后是我们一天分析了 2.5 亿个视频的结果现在的淘宝上也有很多用短视频卖货宣传的我们分析了 2.5 亿视频最后日均商品分析达到 15000 万。我们统计了当天通过视频购买商品的人发现平均有效时长是 120 秒。通过这种新技术可以促进新的场景。
三是 AI。 这一切的背后是数据的力量整个双 11 都是 AI 和数据在驱动。实时性、规模性和 AI 三者相辅相成让双 11 的效率得到了大幅提高计算处理能力也有了很大提高这就是 2684 亿销售额背后的技术力量。
云上双 11 的 AI 能力 回归技术本身。2017 年以前我们的系统是比较简单的更多的任务是处理数据和生成报表。一年半以前我们开始加入更多实时性用实时数据反馈商业决策这就有了 MaxCompute 的出现。 如今整个技术后台非常复杂我们有非常好的一些计算引擎可以进行全域数据集成具备统一的源数据管理、任务管理智能数据开发和数据合成治理等能力。 说到底AI 和计算其实是共生体AI 的繁荣依赖于计算力的积累所以我们需要很好的数据处理平台进行分析和提取服务好算法工程师进行创新比如尝试各种各样的模型、各种各样构造机器学习的方式看看能否提高人工智能的效率和准确度。
企业如何构建云上 AI 能力
上述这些主要是 AI 的场景接下来我会着重介绍这些场景背后的 AI 技术主要围绕飞天 AI 平台上层是 PAI 和在线推理服务 EAS然后分为 DSW 开发平台PAI Studio 和 Auto Learning 三部分基于训练优化引擎和推理优化引擎解决大规模分布式数据处理问题。
此外我们还有在线机器学习系统可以对用户行为日志进行实时和离线计算然后抽取特征库生成批流统一样本进入样本库最终进行批流统一模型训练。为什么我们要做这个一是因为实时性传统的搜索是非常不敏感的而我们是在遵循用户兴趣的变化如果两周更新一次模型可能已经错过了几轮热销商品我们需要通过在线机器学习的方式进行实时判断这非常接近于深度学习。在非实时的状态下工程师可以非常精细的做特征工程花更多的时间理解数据利用深度学习本身的特性捕获数据之间的关系而不是靠专家提取这是深度学习的好处但这需要海量的计算才可以完成而在线机器学习系统会把双 11 当天的日志及时传递到实时计算平台做集合然后通过分析按照 ID 对数据进行聚合形成样本最后根据样本做增量学习、验证、部署只有这样才能快速更新模型使其遵循用户或者商业的变化。 在这个过程中我们面临的第二个挑战是模型非常大因为要“千人千面”因此需要一个非常大且针对稀疏场景的分布式训练。目前的开源机器学习框架还远远达不到我们的规模要求我们需要进行大量的优化以便在稀疏场景下训练大规模数据。如果对深度学习有了解就应该知道深度学习可以描述非常大的细粒度图在图上如何进行切割让图的计算和通讯可以更好地平衡是需要考虑的问题。
通过通信算子融合和基于通信代价的算子下推我们实现了分布式图优化技术。通过高效内存分配库比如 thread 库、Share Nothing 执行框架利用 Spares 特性的通讯异步训练通讯和计算充分 overlap容错、partial checkpoint、autoscale、动态 embedding支持大规模梯度 optimizer 的方法实现运行框架的优化如下图所示 优化之后性能上达到了七倍提升。稀疏特征规模从数十亿到数百亿样本从数百亿到上千亿同时还有上千worker 的分布式增量训练。 在动态封面层面我们分析了大量视频文件视频比图片更复杂因为视频牵涉的环节非常多需要做视频的预处理提取视频帧但不可能每一帧都进行提取这样做的代价实在是太大了需要提取视频的关键帧通过图片识别和目标检测提取这是很复杂的工作。因此我们研发了视频平台帮助视频分析和算法工程师解决问题具体架构如下图所示 在视频里面在线服务其实也很复杂有分解也有合成。首先对视频进行分解然后加以理解并提取最后进行合成。通过视频 PAI-EAS 在线服务平台算法工程师只需要编写简单的 Python 代码就可以通过接口调用相应服务让他们有更多的时间进行创新。 除了上述场景整个平台最重要的就是支持算法工程师的海量创新。五年以前阿里的算法模型非常宝贵写算法的人不是特别多。随着深度学习的演进现在越来越多的算法工程师在构造模型。为了支撑这些需求我们进行了 AI 自动化让算法建模同学专注业务建模本身由系统将基础设施PAI完成业务模型的高效、高性能运行执行。 在深度学习方面我们分别进行了前端和后端优化。我们希望通过编译技术系统技术服务实现图优化、任务分割、分布式调度、数据分片、模型分片通过系统模型选择我们认为最好的方案执行这是我们整个平台做 PAI 的理念。整个 PAI-Blade 通用推理优化框架分为如下几部分 通过系列改进我们也取得了一些优化成果。我们有一个非常大的集群在集群足够大的时候我们就可以很好地实现复用。通过资源调度和引擎的配合能够提升 GPU 集群 30% 的利用率。 此外我们很多 AI 服务都加载在线服务框架我们叫做 PAI EAS这个框架是云原生的可以更好地利用云平台本身的规模性和可扩展性撑住双 11 当天的海量 AI 请求。因为双 11 不仅是商业数据、购买数据在暴涨AI 请求也在暴涨比如智能客服、菜鸟语音当天的服务量都非常大通过利用云平台的能力我们可以提供更好的体验。 综上这些技术支撑了阿里巴巴的所有 BU支持单任务 5000 的分布式训练有数万台的机器数千 AI 的服务日均调用量可以达到上十万的规模。最后阿里双 11 的成长和 AI 技术的成长以及数据的爆发密不可分。
原文链接 本文为云栖社区原创内容未经允许不得转载。
