怎么把网站设置为信任网站,徐州人才网招聘信息,什么样的公司专业做网站的,网站底部怎么修改目录 算力部署方式的影响因素数据量计算难度前期投入数据隐私应用规模与泛化能力 云、边、端部署的特点和对比典型场景举例社区人脸门禁后厨老鼠识别 未来展望 算力部署方式的影响因素
最近和人工智能从业者进行了非常广泛的沟通#xff0c;尝试对模型应用的云、边、端模式进… 目录 算力部署方式的影响因素数据量计算难度前期投入数据隐私应用规模与泛化能力 云、边、端部署的特点和对比典型场景举例社区人脸门禁后厨老鼠识别 未来展望 算力部署方式的影响因素
最近和人工智能从业者进行了非常广泛的沟通尝试对模型应用的云、边、端模式进行对比。
2015 年前后语音和图片相关的人工智能应用逐渐兴起目前在不少通用场景下都已经有了比较成熟的 AI 应用服务例如人脸比对、车牌识别等。
而人工智能的落地离不开“计算能力”或者说算力。考虑到业务场景下各种因素的影响算力部署的位置选择就有所不同。
数据量
在很多应用场景中尤其是与物联网终端设备相关的场景下设备采集的数据非常庞大如果将所有原始数据上传云端再进行处理带宽费用可能远超计算成本。 以 200 万像素摄像机为例即便采用最新的 H.265 编码一台摄像机一天的录像空间也要 20G 以上。如果所有视频都进行实时上传占用的带宽就是 2Mb/s公有云一年的带宽费用就超过 1000 元。
这时我们通常会考虑在边缘侧也就是在设备上或者局域网内完成数据的初步筛选和处理减少上传云端的数据量。
计算难度
当面临复杂的计算任务如人工智能训练、科学模拟或密码学运算时需要强大的算力支持。这导致对高性能硬件的需求增加如GPU、TPU或高性能CPU集群。 举个例子如果你希望部署 DeepSeek R1 满血版根据某些供应商提供的部署方案需要两张 H20 的显卡整体部署费用达到 300 万以上。 绝大多数的项目都没有这么充足的预算。
但是有一些简单的任务例如图像识别中的目标标定、文字识别、基本人脸比对等算法成熟算力要求也不高这些任务可能只需要 2T甚至是 0.5T 的算力。 市面上能够提供这种能力的芯片供应商则非常多我们可以选用一些性价比更高的设备。而这些设备放在专业的机房里占用带宽资源的同时又无法提供足够的计算价值通常难以为公有云提供商带来丰厚的利润所以他们也无意做这样的事情。 所以我们可以把这些低算力的设备部署在边缘侧。
前期投入
正如许多餐饮店由于不知道后续经营效果如何所以在开店早期对大部分贵重的设备采用租赁的方式。 当提到通过人工智能降本增效时绝大多数企业主对服务的效果是不明确的他们自然希望能够小成本验证效果。所以租赁模式就是他们的首选。 而边缘设备尤其是存在绑定关系的边缘设备其租赁、回收的难度均较大这类的供应商往往不存在而云端租赁正是公有云的成熟商业模式相对容易实现。
数据隐私
在处理医疗、监管、金融等敏感数据时算力部署必须符合严格的安全标准和法规要求。很多项目要求数据不能上传公网。 同样因为数据隐私的问题模型训练的数据往往不是公开的这也意味着市面上难有公开训练的模型如果客户自己有充足的数据自己进行模型的训练和部署。 那么在这些时候边缘化部署就是唯一的选择。
应用规模与泛化能力
2015 年开始图像类的人工智能算法就已经开始发展和商业化尝试但十年过去了我们看到的通用的图像类人工智能算法并没有很多。 其中一个重要原因正是标注数据的缺失导致算法训练的效果一般检出率及检准率不足导致难以商用。换言之除非场景足够通用、数据量足够大都难以训练出一个有效的算法模型。
由于使用人群较小需求并发少云端租赁的商业逻辑不成立云服务商不愿意提供此类服务。实际上找 ISV 协助开发难度也较大。 同时训练数据量小模型泛化能力不足一种可行的思路是针对特定的场景进行模型微调训练并进行针对性部署每个场景下的模型都是进行过训练的。
因此针对使用人群较小、数据量不足的场景边缘化部署就变成了更合理的选择。
云、边、端部署的特点和对比
人工智能算法落地的算力部署往往有云、边、端三种方式
云端将计算资源如CPU、GPU、存储、网络等集中部署在远程的数据中心通过互联网向用户提供计算服务边缘计算资源部署在靠近数据源或用户终端的边缘节点上这些边缘节点可以是小型数据中心、基站、路由器、网关等设备和终端设备在同一个局域网内终端计算资源部署在用户终端设备上如智能手机、平板电脑、智能摄像头、物联网设备等
特性云端边缘终端算力强大无限制中等4T-200T通常只支持 INT8较弱通常小于 4T通常只支持 INT8设置 INT4资源部署灵活支持租赁灵活固定模型定制缺乏支持支持算力浪费较少较少潜在较多并发处理难处理好处理无并发问题网络费用高低无网络费用数据隐私有风险安全安全
典型场景举例
社区人脸门禁
社区人脸门禁场景是一个典型的智能安防应用它利用人脸识别技术实现对社区出入口的智能化管理。可以实现以下功能
业主刷脸直接进出小区、单元门访客在线填写信息录入人脸记录家政、快递、外卖等人员的出入情况并进行有效管理
同时我们需要兼顾
小区业主人脸数据属于个人隐私数据在采集、存储、使用上需要注意社区里通常有个机房机房里已经部署了服务器作为小区监控、社区服务的载体如果宽带供应商除了问题不应该影响小区业主的使用
为了实现这些功能
首先需要采集人脸数据并形成人脸库在小区大门、单元门等地安装人脸采集设备门禁等可以识别人脸人脸采集后我们需要通过算法进行人脸比对
因此比较合理的方案架构可能就是
云端负责图片的初步采集支持业主、访客等人员上传人脸并下发到社区边缘计算设备但不做图片存储边缘 对人脸图片进行编码形成特征值并进行存储形成人脸库对于终端能力较弱的可以由边缘进行人脸比对对人脸识别记录进行存储和汇总、分析 终端 进行基本的人脸识别、人脸采集较强的终端可以直接进行人脸比对并上报识别结果给社区服务器边缘
后厨老鼠识别
后厨是食品加工的关键场所一旦出现鼠患将极大地增加食品污染的风险。目前食品安全作为政府监管的重要方向监管需求逐渐提升。 另一方面识别老鼠的行动轨迹能够帮助企业规范后厨管理提升连锁店运营能力保护企业形象。
实现上就是希望在后厨安装摄像机或利用原有的摄像机完成监控画面采集并对画面中有老鼠的画面和视频进行识别分析。实现后厨老鼠识别的难点在于
由于涉及企业形象公开的后厨老鼠数据往往是缺失的因此目前老鼠识别算法并不成熟老鼠目标较小且形态较多皮鞋、帽子、桌腿等都可能被识别为老鼠检出和检准率难以同时保障很多连锁店无法为终端设备提供免费的网络环境需要借助物联网卡因此流量费较高
同时我们要综合考虑终端设备和边缘计算设备的成本及能力情况
目前市面上具有老鼠识别功能的摄像机较少且价格相对较高而支持定制的能力较弱具有边缘计算能力的 AI 盒子供应商较多产品价格相对较优且内置 Linux 的系统可以进行服务定制以 4T 算力的边缘盒子为例可以对 4 路摄像机进行单个算法的视频分析
所以目前比较合理的方案架构是
终端通常是 2-4 路摄像机 进行初步的筛查例如移动侦测等 边缘 作为视频存储介质对鼠患高发时段夜间的视频进行初步筛查重在检出而非检准将老鼠识别结果上报到云端其他必要的本地管理能力 云端 作为连锁经营统一管理平台对老鼠检出结果进行进一步筛查重在检准生成老鼠活动轨迹、老鼠识别报告等
这里做一些额外的延伸。后厨还有一些其他的人工智能应用例如垃圾桶是否敞开、是否戴口罩、是否戴帽子、是否有抽烟等都可以通过边缘计算盒子来完成。 刚刚有提到 4T 算力的边缘盒子可以对 4 路摄像机进行单个算法的视频分析。那个如果涉及到多个算法又不想更换算力更强更昂贵的设备该怎么办常见的做法有几种
从视频识别改为抽帧图片识别视频每秒可能多达 20 帧如果改为每秒抽一帧进行分析能够大大降低算力要求训练多合一的算法一个算法支持多种目标检测比多个只支持单个目标检测的算法要更经济减少识别时间片段各个服务的重点检测时段不同例如鼠患是 0-6 点工作规范是 10-14 点、16-23 点我们可以只针对风险高发时段进行检测
未来展望
我们看得到的趋势是随着技术发展以及计算资源价格的下降终端和边缘设备的计算能力会越来越强。 这也意味着很多原先云端才能做的服务边缘也可以做了很多原先边缘才能做的事情终端也可以自行处理了。
这种计算模式的转变不仅优化了资源配置也为人工智能的应用带来了新的可能性。未来我们或许能看到更多个性化、定制化的人工智能服务它们将更加贴近我们的需求让生活变得更加智能和便捷。
