c#网站开发案例源码,互联网公司排名前十名名单,做淘宝客的的网站有什么要求吗,怎么看一个网站用什么系统做的今天分享内容包括三部分#xff0c;第一是端智能整体趋势和淘宝应用现状#xff0c;第二是淘宝在应用端智能过程中面临的问题和挑战#xff0c;以及我们的应对和解决思路#xff0c;我们构建了端到端的完整技术体系#xff0c;第三是开源推理引擎 MNN 的最新情况。
01、端… 今天分享内容包括三部分第一是端智能整体趋势和淘宝应用现状第二是淘宝在应用端智能过程中面临的问题和挑战以及我们的应对和解决思路我们构建了端到端的完整技术体系第三是开源推理引擎 MNN 的最新情况。
01、端智能趋势和现状
端智能简单说就是在端侧做机器学习或者深度学习模型的推理运行及上层应用。端智能相比云端智能具有低延时保护数据隐私节省云端计算资源等优势。其实大家在日常生活中已经用到了很多端智能应用比如手机上拍照的 AI 摄像人脸解锁 FaceID 以及短视频 App 中各种 AR 特效等。
那么为什么会出现端智能以及他底层演化逻辑是什么首先这两年有一个明显趋势就是深度学习从实验室往产业落地方向演进海量终端设备成为落地最佳载体手机是覆盖用户最多的设备很容易做到规模化应用。除了这个大的趋势我们觉得影响端智能演进还有三个关键要素分别是算力、算法和场景。 算力手机的算力不断增长每年 CPU/GPU 性能也有非常大的提升 NPU 更是已经成为标配并且有数量级上性能提升。
算法模型压缩技术不断成熟其中量化已经非常成熟基本可以实现不降低精度的情况下将模型缩小为 1/4 甚至更小另外小模型的架构设计也越来越成熟面向移动端的各种网络模型不断出现面向移动终端有限资源的算法模型设计也逐步成熟。
场景就手机本身来说AI 成为手机的热点和卖点像 AI 摄像人脸解锁等已经成为手机的基础功能。从 App 应用场景来说近来刷爆我们朋友圈的应用都是跟 AI 相关的有 Face App 垃圾分类识别以及 Zao App 。目前有些软件更多的是使用云端 AI 能力需要把人脸照片上传至服务端做换脸容易出现数据隐私问题。如果用端 AI 来做不用上传你人脸图片很自然解决数据隐私问题只是现在端上算力不够做不到这样的应用。 我们可以预期的是随着算力的增强算法的成熟基于端智能也会出现越来越多有趣、好玩的一些创新应用。
现在集团里越来越多的 APP 开始应用端智能拿手淘来说端智能已经成为我们的核心基础能力助力业务发展的创新和突破。在阿里巴巴有 20 个以上的 APP 在使用端智能拿手淘来说我们已经上线了 10个场景有 25 个模型在跑每天运行次数超过 500 亿次在手淘搜索推荐等重要场景也在使用端智能做更加精准搜索推荐今年双 11 也会大规模使用。
02、淘宝端智能体系建设
我们做了这么多应用那在应用过程中到底碰到了哪些问题和挑战 首先从 APP 使用端智能整个链路上面看一般都会有数据采集做数据清洗或者数据标注然后做算法模型设计接着在服务端模型训练之后进行模型压缩和转化其次在部署端上面做推理最后产品落地去使用。整个链路较长涉及云端和客户端以及需要算法工程师和移动开发工程师配合才能完成相关应用落地。 我觉得端智能应用有三个大的挑战第一整体链路比较长而且其中每个节点出现问题都会阻碍端智能应用落地特别像 17 年算法模型在端侧推理部署运行成为瓶颈所以我们开发 MNN 去解决这个问题。第二算法和工程协同需要算法工程师和移动工程师通力合作但是两者存在天然的 gap 需要互相协同配合。第三端侧环境复杂碎片化的设备系统各种兼容性问题。针对这些问题我们构建一套端到端的全链路部署方案下面具体展开讲解。 这是我们的技术大图主要有三部分组成
客户端引擎 框架 包括机器学习算法库深度学习推理引擎 MNN算法快速迭代的 Python VM 容器以及上层的算法能力集合和行业解决方案。离线配套工具 包括模型转换模型压缩工具以及配套的性能测试调试工具等。云端平台 包括模型转换和压缩服务以及模型管理部署运维监控的各种系统。
下面将会具体展开讲解推理引擎开箱即用算法集行业解决方案三块内容。 首先来看下推理引擎 MNN 的技术挑战第一碎片化网络模型训练框架终端设备都是碎片化的。第二资源受限终端设备不像服务端他的内存算力比较有限。第三高性能像人脸检测等实时性要求比较高所以在资源受限情况下还需要做到高性能这也是巨大的挑战。 推理引擎就是找到一种方案实现不同模型在不同设备上最高效的运行。这里有三种不同设计思路。
一种是类似 TVM 的自动化搜索方案考虑模型的特征比如卷积核大小考虑部署设备的硬件特效比如内存算力然后结合两者找到一种最高效的运行方式。这种方式性能高但成本也高因为需要离线为每一种设备做遍历调优找到最高效的运行方式比如手淘覆盖的手机比较多所以成本非常高。
第二种方式是纯手工优化主要是针对特定的卷积核大小做优化比如 3x3 卷积所以专门优化的网络模型性能比较好没优化过的性能会差一些另外未考虑硬件特性所以整体性能一般成本也较高因为需要遍历情况比较多。
第三种方式就是我们 MNN 采用的方案我自己叫半动搜索优化通过 NC4HW4 内存布局将不同卷积核做对齐做统一矩阵计算优化再根据硬件特性调度做选择最优方式运行我们现在更多是基于规则后续演化考虑做在线调优。整体来说性能比较好成本也比较低。 这是 MNN 整体架构图左边离线部分包含模型转换和模型压缩将各种训练框架模型转换成 MNN 的模型右边是线推理部分MNN 目前支持 CPU以及 GPU 对应的 OpenCLVulkan 等 backend 。
以图上为例 Pixel 2 手机支持 CPU ARM 和 Vulkan backend 小米 6 支持 CPU ARMOpenCL Vulkan backend Mate20 支持 ARM82 架构的 CPU backend以及 OpenCL Vulkan backend 。
在预推理环节我们根据模型结构信息以及设备的硬件信息 找到一种最快运行方式。比如 Pixel 2 上使用 CPU 和 Vulkan 运行小米 6 使用 CPU 和 OpenCL 运行Mate 20 上使用 ARM82 指令和 OpenCL 运行。这是粗粒度的 CPU 和 GPU 运行方式选择更细一点比如同样 CPU 运行我们有 winograndstrassion 矩阵计算算法会根据模型和硬件特性选择不同分块这样实现最快运行。 MNN 很早基于 iDST 量化算法支持了模型压缩能力但是之前的量化工具的产品化做的不是特别好过去几个月我们重点优化了量化工具尽量做到简单易用。目前无训练的量化工具我们已经发布一行命令就可以简单实现量化精度下降 1% 以内文件大小减少到原来的 1/4 推理速度提升 30~70% 。另外我们正在研发带训练能力的量化方案这里实现跟业界方案不太不一样我们为了解决碎片化的训练框架的问题现在是直接在 MNN 上添加训练能力这样可以使用 MNN 模型做 Finetune 训练。 前面介绍了推理引擎 MNN 主要解决算法模型端侧运行问题。但是移动开发对算法模型其实不是很懂以人脸为例他更希望有个人脸 API 给我调用一下使用所以我们做了开箱即用算法集合里面有人脸人体姿态物体识别等内容。
但是后来我们发现即使有了人脸特征点要做一个 AR 人脸特效这样的应用还是有很大的成本。所以我们又做了一个 AR 特效解决方案可以简单方便做一个 AR 贴纸特效。
具体来说通过一个 IDE 编辑器做所见即所得的特效编辑然后导出一个资源文件包对应端上有个渲染 SDK 解析资源文件做特效还原。但从业务场景来说手淘毕竟不是一个短视频 App AR 贴纸对业务价值有限所以我们目前 AR 方案更多是结合美妆行业家居行业等做商品相关的 AR 应用提升用户购物体验。 说完 AR 特效方案再看一个大数据相关的解决方案。在原有的大数据体系里面客户端更多是一个数据采集的角色服务端做大数据计算和挖掘然后做例如个性化推荐的应用。
但是随着端算力增强端上可以跑机器学习和深度学习模型我们做了端侧的数据特征计算框架支持做数据特征提取模型计算等工作。其中一个应用就是情景计算利用端侧多维度的数据可以准确刻画使用手淘的情景信息比如你是在走路还是坐车还是躺在床上。
另外根据你在页面的停留时长浏览轨迹可以识别你对商品的喜好程度从而做更加精准的推荐。目前这块已经在手淘的搜索推荐广泛使用并且取得了不错的效果。 接下来具体看几个在手淘这边的典型应用场景第一个是拍立淘拍立淘是一个以图搜商品的服务原来是直接拍照上传云端做识别这样整体耗时比较长服务端成本比较高。现在已经把越来越多的部分放到端侧来做比如物体检测分割等放到端上来做然后再上传云端做识别召回相比原来有更好的用户体验也节省了服务端成本。 这是一些其他典型应用第一个是基于用户实时意图识别做交互式搜索推荐第二个是 AR 试妆第三个闲鱼做的一个智能发布第四个是我们在智能硬件的若干应用。
03、MNN开源进展和应用 接下来讲下 MNN 开源相关的情况下面是 MNN 的发展历程我们 17 年 10 月正式启动经历 18 年双十一洗礼今年双十一有更大规模的应用。
这里有几个数字每天 MNN 在手淘推理次数远大于 2 亿次 Crash 占比 0.1% , 业界应用 20 个 issue 修复 260 。所以可以说 MNN 是经过多场景海量计算验证的它的稳定性和可靠性值得信赖。 MNN 的核心特点是通用性轻量性高性能易用性。
目前无论是性能设备支持训练框架支持OP 支持等方面我们都是业界领先。 MNN 的易用性也是我们非常重视的一个点Python 是算法工程师友好的语言所以我们构建了 Python 工具链方便算法同学测试和验证。目前我们提供模型转换模型压缩模型结构可视化以及支持 OP 列表查询的工具下面是具体安装命令pip install MNN 然后可以选择对应的工具使用右侧是模型结构显示的一个示例。 MNN 开源以后现在已经成为阿里巴巴的官方推荐项目也很高兴看到业界同学用 MNN 来做车牌识别物体检测车辆检测等各种应用特别还有同学写了很多介绍和使用文档。这里一并表示感谢也希望更多的同学能够参与进来。 关于 MNN 后续演进有三点内容想特别和大家分享。
App 视角 这是由我们出生决定的我们服务于手淘这样的超级 App他需要支持 iOS 和 Android 两个生态以及支持各种低端机和低版本系统所以需要我们解决各种碎片化设备和系统兼容问题。业界很少像 MNN 一样在超过 200 款设备上运行并且支持业务规模化应用。性能极致 手淘有像人脸搜索推荐等各种实时业务场景以及需要覆盖中低端机的诉求迫使我们做极致的性能优化这样才能很好的支持业务。开源开放 前面说的我们在几百种设备运行各种中低端机以及系统兼容适配业务规模化应用这些经验积累都沉淀到 MNN 里面开源给业界确实业界也没有一个这方便做的特别好希望能够给大家有所帮助。
最后我们的愿景是期待能和大家一起打造功能完善性能极致简单易用的端侧推理引擎并且能够在行业中获得广泛应用。
精彩回顾 原文链接 本文为云栖社区原创内容未经允许不得转载。
