网站建设交接函,深圳软件有限公司,wordpress熊掌号专业版,做企业网站的简介#xff1a; 阿里云边缘计算团队付哲解读5G下热门场景#xff1a;边缘AI。作者#xff1a;阿里云付哲#xff0c;计算机科学与技术专业博士后#xff0c;在流量检测、资源调度领域有深入研究#xff0c;其论文《Astraea: Deploy AI Services at the Edge in Elegant … 简介 阿里云边缘计算团队付哲解读5G下热门场景边缘AI。作者阿里云付哲计算机科学与技术专业博士后在流量检测、资源调度领域有深入研究其论文《Astraea: Deploy AI Services at the Edge in Elegant Ways》曾入选2020年IEEE边缘计算国际会议IEEE International Conference on Edge Computing。目前在阿里云边缘计算团队从事边缘云资源调度和创新应用方面的研究。 5G关键能力
近年来5G已成为各国战略竞争制高点和未来社会发展、信息化的关键技术。目前各国纷纷加快5G战略和政策布局。2019年工业和信息化部正式向中国电信、中国移动、中国联通、中国广电发放5G商用牌照中国正式进入5G商用元年这比原计划商用提前了一年。最新报告显示截至2020年12月我国三大运营商5G用户已经超过了2.5亿。随着5G技术和商业化的不断普及5G正渗透到社会生活每个角落。 图1 5G之花-5G关键能力
目前对5G的认知关注的焦点是极致的速度。但对于5G更多能力的愿景现阶段涉及还比较少。移动通信专家在5G标准设立之初为了形象地描述5G关键能力画出了一朵“5G之花”[1]花朵的每一瓣都表示一种核心技术能力如图1所示。
在5G的场景中不仅是道路速度快了10倍道路宽了100倍道路承载的流量、移动性、各种效率等指标也均有明显的提升。很多人都存在一个疑问这些严苛的能力真的能实现吗例如端到端1毫秒的时延5G通信怎么可能时延比固网通信还要低这里需要澄清一下5G毫秒级的时延指的不是远距离传输的时延。以光速计算1毫秒时间信息也只能传递300000*1/1000300公里的距离。无论是5G还是6G、7G也是无法突破这一物理定律的。而通过5G网络定制的低时延切片以及多接入边缘计算等技术将核心网等下沉到市、县、乡等离终端用户百公里级的范围之内毫秒级时延也并不完全是一句空谈。
多接入边缘计算MEC
多接入边缘计算Multi-access Edge Computing的概念最早提出于2009年卡耐基梅隆大学所研发的cloudlet计算平台并逐渐被世界各个标准协会纳入通信标准发展演进成为5G移动通信技术系统的重要技术之一。 为了避免技术叙述上的枯燥先举一个通俗的例子。假设我们有两个快递件要发一个是从深圳发往北京一个是从深圳福田区发往同城的宝安区。第一个快递会先从深圳发往某地的快递集散中心例如郑州集散中心然后再发往北京最终通过逐级快递点送到用户手中这种方式是没有问题的。但是如果按此方式运送第二个快递那么第二个快递也会先从福田区发往郑州集散中心然后再返回宝安区最终送到用户手中。 图2 5G与MEC
大家一定会觉得这种方式疯了同市的快递为什么不直接在市内调度就好而要先运送到千里之外的集散中心现实很残酷5G之前的网络包括5G非独立组网数据基本上都是按照接入网-承载网-核心网的处理方式最后再由核心网决定怎么去调度和处理。即使是同一个城市、同一个基站下的两个终端间的通信还是得先上报到核心网处理再回来。这一去一回用户感知的时延明显增大了。而MEC技术可以将计算能力下沉到基站侧终端用户的业务请求可以调用就近的算力解决而不用一层层上报至核心计算中心再下发处理从而能够降低网络传输时延并且减少涌入中心云的网络流量。
基于MEC的边缘AI服务
5G普及之后大部分的计算交互都可以直接在MEC节点处进行处理由于节省了承载网、核心网的介入大大降低了网络时延同时节省了网络带宽资源。高清视频、VR/AR、云游戏等应用预计将会随着5G的普及迎来下一波爆发。本文将会介绍5G场景下的热点应用之一边缘AI服务。
站在用户的角度AI服务尤其是推理阶段通常可分为在端侧或者在云侧执行。手机等终端设备的计算能力逐渐增强使得一些简单的AI模型跑在终端上成为了可能。然而终端设备有限的功耗是始终无法忽略的问题不少运行在终端上的AI模型往往会遇到发热、降频、耗电过快的问题此外数量更大的其他终端设备例如摄像头、传感器以及其他IoT设备其受限的计算资源使得他们难以运行常见的端侧AI模型。另一方面云侧虽然算力强大但是由于其执行的AI模型由于离端侧更远时延无法得到保证即使对时延并不敏感在万物互联场景下如果海量端侧设备都依赖云中心的AI服务的话它们的带宽流量会对现有网络带来不小的冲击。
为了解决这一困境基于MEC的边缘AI服务应运而生。MEC节点的计算能力虽然比不上中心云但是相较于终端设备还是要高不少的部分MEC节点也包含GPU、FPGA等计算加速硬件。卸载到边缘节点的AI服务不仅仅能够节省终端到云中心的通信成本而且能够提供低至毫秒级的网络通信时延。
计算卸载是边缘计算的主要功能之一为简化这一场景我们仅以单任务决策为例进行建模分析。对于终端用户来说如果满足以下条件1那么将AI计算从端设备卸载到边缘执行在任务完成时延上有明显体验上的提升的。
C / Pd C / Pe D / Bc (1)
类似地当条件2满足时将AI计算任务从端设备卸载到边缘执行可以降低计算能耗。
C × Ed / Pd C × Ee / Pe D × Ec / Bc (2)
以上公式中各参数含义如下 Pd: 端设备处理速度 Pe: 边缘云服务器处理速度 C: 计算任务量 D需要传输的任务大小 Bc: 端设备到边缘节点的带宽大小 Ed: 端设备处理功耗 Ee: 边缘云服务器处理功耗 Ec: 端设备到边缘节点的通信功耗
边缘AI部署项目Astraea
人工智能模型的开发人员和数据科学家通常不知道或不太关心他们的模型在生产环境中是如何服务的。例如在边缘部署模型时必须考虑到不同框架的AI模型需要不同的部署方式同时也需要一个API服务器将AI模型对外提供给终端用户。此外边缘人工智能服务还需要全生命周期管理的能力包括版本升级、灰度发布、自动缩放等以及灵活的调度能力以优化用户体验、计算成本和流量成本之间的权衡。 为此阿里云边缘计算团队提出了Astraea[2] — 一个适用于边缘计算场景的新型AI服务部署平台它简化了部署阶段同时充分利用了边缘计算的优势。通过边缘AI部署项目Astraea模型开发者能够自动化地完成AI服务在MEC等边缘节点的部署并将AI服务的推理过程转化为Restful API接口供终端设备调用使得终端设备能够充分利用5G/MEC带来的技术红利。 图3 Astraea 总体架构
Astraea具有以下优点。首先Astraea的用户只需要提交不到10行的模板配置Astraea能够在1分钟时间内构建映像在5分钟时间内完成服务边缘部署。其次Astraea支持Scikit learn、TensorFlow、Pythorch、ONNX等多个人工智能框架可以一键化为AI服务自动生成Restful API。借助Astraea以及阿里云边缘节点服务AI服务可以下沉到距离用户10公里的范围内。同时Astraea基于阿里云边缘节点服务能力实现运维自动化。
Astraea可以基于边缘节点服务平台实现以下能力 镜像仓库作为边缘AI镜像的储存仓库并提供镜像分发加速能力 应用发布提供边缘AI服务的一键部署和灰度发布功能 监测运维负责边缘AI容器状态监测和相关日志服务 图4 Astraea AI模型封装
实时车牌识别DEMO
为了验证基于MEC的AI服务的技术能力以下基于Astraea实现了一个简单的车牌识别License Plate Reader服务示例。实验中使用了Raspberry Pi 4模拟终端摄像头设备。由于目前Raspberry Pi没有5G通信模块因此实验中额外购置了5G WiFi将5G信号转化为可供Raspberry Pi连接的WiFi信号用于模拟5G通信链路。 图5 原型验证中使用的实验硬件
由于Raspberry Pi采用的是ARM架构CPU算力较弱实测在Raspberry上直接执行车牌检测的程序采用预训练好的模型需要大概13s的时间才能识别出一张图片中的车牌数字及其位置。显然想利用Raspberry Pi本身实现实时的车牌识别是不可能的。
下面我们将车牌识别这一AI服务部署至边缘节点。在项目目录执行:
astraea build
该步骤将车牌识别的AI模型打包成AI服务镜像按照用户定义的配置文件暴露出API接口并推送到到边缘节点的镜像仓库中。
接下来执行
astraea deploy
该步骤中Astraea根据配置文件中指定的调度域、规格和数量信息将AI服务调度到指定的节点。例如可以将服务部署到了位于上海宝山区的边缘节点能够为上海宝山区的用户提供就近访问的低时延车牌识别能力。
Astraea能够按照模板定义好的模型调用方法自动生成Restful API返回服务IP地址以及端口号提供接口供用户调用。本示例中直接调用以下接口就能获得车牌识别的结果。
curl -g http://IP:port/predict -d json{jsonData: img_base64}
被调用后API会返回车牌号识别结果包括车牌字符串、位置以及置信概率。该服务同时支持多车牌识别如果一张图片里有多个车牌那么结果将以json数组形式返回。一个API返回示例如下
{code: 0,request_id: xxx-xxx-xxx,data: {msg: {},ndarray: [{confidence: 0.8996933911527906,rect: [120.92, 103.3, 73.57536804199219, 23.4],res: \u9c81A88888}]},
}
此外Astraea还提供了基本的监控功能访问以下接口能获得诸如QPM、平均推理耗时、模型调用次数等统计信息。
curl -g http://IP:port/monitor
返回值如下
{AvgQPM:33.35,AvgReqTime:0.009s,Counter:3022}
该返回值表示该AI服务平均每分钟被调用33.35次平均处理时延为9ms一共被调用了3022次。
将Astraea自动生成的API接口进一步封装就能够实现可视化、以及实时的车牌识别。例如下图是基于Raspberry Pi 4的实时车牌识别结果。可以看到基于部署在边缘节点边缘车牌识别服务算力较弱的终端设备例如Raspberry Pi、老旧摄像头等也能实现强大而又低时延的AI处理能力。 图6 基于Astraea的实时车牌识别服务
总结
基于MEC等边缘云基础设施的能力AI及其他计算任务可以卸载到离用户最近的计算节点执行在处理时延、处理功耗、网络带宽等方面达到较优的权衡。通过Astraea模型开发者能将已有模型一键部署到指定的MEC等边缘云节点提供易部署和低时延AI服务能力。Astraea的愿景是希望在5G时代AI服务在边缘的部署与运维就像如今使用CDN分发图片和视频一样简单。
作者阿里云付哲计算机科学与技术专业博士后在流量检测、资源调度领域有深入研究其论文《Astraea: Deploy AI Services at the Edge in Elegant Ways》曾入选2020年IEEE边缘计算国际会议IEEE International Conference on Edge Computing。目前在阿里云边缘计算团队从事边缘云资源调度和创新应用方面的研究。
原文链接
本文为阿里云原创内容未经允许不得转载
