网站开发到发布,wordpress可视化 吾爱,seo优化步骤,河南省建设厅督察网站摘要#xff1a; 导语 近日#xff0c;阿里云发布了智能媒体管理#xff08;Intelligent Media Management#xff09;服务#xff0c; 通过离线处理能力关联授权的云存储#xff0c;提供便捷的海量多媒体数据一键分析#xff0c;并通过该分析过程构建价值元数据#x…摘要 导语 近日阿里云发布了智能媒体管理Intelligent Media Management服务 通过离线处理能力关联授权的云存储提供便捷的海量多媒体数据一键分析并通过该分析过程构建价值元数据更好支撑内容检索。
导语 近日阿里云发布了智能媒体管理Intelligent Media Management服务 通过离线处理能力关联授权的云存储提供便捷的海量多媒体数据一键分析并通过该分析过程构建价值元数据更好支撑内容检索。
背景介绍 随着智能手机的普及、无人机的流行业界产生了海量的图片、视频等多媒体数据同时网络也在飞速发展特别是4G的推广让这些数据的保存、分享发生了巨大的变化从而也带来了媒体数据各行业的新趋势。我们亲身体验到通信方式从短信变成语音浏览内容从文字变成图片、从JPG静态图片变成GIF动态图片、再到短视频从去年开始直播也火热起来成为一种流行的时尚。这些迅速的变化趋势反应了一个共同的特点就是“交互的信息量越丰富、越实时用户越容易被吸引越会产生新的价值”。
如图中所示行业都在利用最新的人工智能(Artificial Intelligence, AI)技术产生新的价值同时也引入新的需求
手机相册。它早已不是简单的图片备份iOS通过AI构建人脸相册、场景标签、编辑应用变成吸引客户的亮点成为新的基线。 视频监控。它不再只是记录取证工具而是利用AI发展为智慧城市变成了智慧的眼睛要管理整个城市的交通信息。 直播应用。个人分享已不仅仅是博客、微博的文本形式更是转变为快速直观的视频模式这背后需要更高、更快的直播内容理解、审核需求。 数据处理场景需求 对于图片分享社区应用场景最基本的功能是提供备份、分享但这并不能带来更多的价值。只有提供更多的图片处理能力比如主体剪裁、人脸识别、滤镜功能、风格渲染、视频合成等数据处理功能如下图所示。这些亮点将为使用者带来“生活不止眼前的苟且还有依然在你身边的美好”回忆从而让应用更具吸引力。内容检索场景需求 如今的综艺节目非常火爆例如跑男、极限挑战等每期拍摄的素材量千倍于实际播出量要在这海量素材中快速扫描、找到爆点需要相当大的工作量例如当前的人肉检索低效率方式需要处理几周的时间。如果能够基于AI分析语音、人物、场景得到结构化信息并索引管理起来支撑更好的检索它将会大大的提高素材的处理效率。
同样在线教育等领域对于老师、演讲者的材料、语音、视频内容如果能够提供快速的解析索引能力那么它将给学习者提供便捷的专场内容描述、快速定位关键术语、演讲笔记同步提取等亮点。客户痛点分析 要满足上述场景需求当前应用架构设计时需要选型不同数据处理功能的厂家包括AI厂家进行集成、或者自研开发对于内容检索还需要分析场景细节需求引入数据库设计和开发。这都需要很好的技术能力以及开发团队的支撑并解决如下的痛点。
多厂家管理痛点
图片应用将数据保存到云存储后要选择不同厂家的AI分析能力支撑业务和监管的需求。应用通常会在云服务器Elastic Compute ServiceECS上部署AI厂家的软件包或者直接调用AI厂家提供的服务但需要解决如下问题
接口不统一。因为存在多厂家的选型需要考虑不同厂家接口的兼容性。 资源浪费。同一张图片会被多次读取甚至是传输到外部网络浪费网络带宽提高使用成本。 无存量数据的低成本批量处理方案。采用厂商的同步处理价格高昂需要提供存量数据的低成本批量处理方案接受异步接口返回检测结果比如针对存量的OSS桶里面的所有图片进行批量鉴黄。 复杂元数据管理痛点
智能网盘通过自己的用户鉴权服务允许客户登录然后采用基础数据管理把图片、视频上传到云存储OSS中。为了提供人脸分组、标签分组等搜索功能需要提供各类元数据管理定义基于场景的表格式、处理数据库的异常它将带来如下的开发难度
元数据表设计难度大。针对不同的元数据需要分类设计各类表结构存储有相当的技术门槛。 多维度元数据管理有挑战。需要组合多种元数据进行多维度查询处理存在设计挑战。 维护元数据的的一致性难题。解决这些元数据在异常场景下的异常处理是系统级难题。 设计目标
通过上述的场景和痛点分析智能媒体管理IMM服务提取了6个关键点作为设计目标
海量数据支撑云存储上的海量数据处理。 端云拉通能够让端和云进行有效的协作。 场景结合基于场景构建元数据管理便于快速接入。 一键处理简化配置和使用、提高系统易用性。 智能分析引入业界领先的处理能力特别是AI能力。 标准统一访问接口统一为阿里云的标准。 功能描述
对于云存储上的海量数据通过授权访问的安全设计让数据处理分析服务能够有权限访问数据在此之上构建数据智能处理框架该框架针对离线处理优化设计同时支持实时处理能力。基于该处理框架引入了业界领先的数据处理能力包括各种AI能力。利用离线处理能力关联授权的云存储可以提供便捷的存量数据一键分析通过该分析过程构建价值元数据支撑更好的内容检索。通过这样的设计从而提供如下功能
普惠AI算法提供丰富功能。人脸分组、图片打标、版权、鉴黄等能力。 价值元数据为客户带来新的增长点。整合价值元数据提供智能分析搜索。 OFFICE文档处理简化客户使用。提供典型的OFFICE文件格式转换便于移动设备浏览办公文档。 场景化、一键式处理提高易用性。基于场景模版结合实时、离线处理引擎一键生成网盘关键元数据。 架构介绍
如图是IMM服务的架构依赖上下文服务本身的架构分为2层处理引擎、元数据索引。
架构依赖上下文 对下依赖阿里云的对象存储、文件存储等服务通过安全的机制访问里面存储的非结构化数据例如图片、视频提取价值信息。 对上依赖场景理解进行封装支撑视频网盘、手机相册、社交图库、家庭监控等图片、视频应用场景为它们产生新的价值。 处理引擎层 基于阿里云存储就近构建计算框架该框架支持批量异步处理、准实时同步处理在一键关联云存储例如指定Bucket的目录前缀、指定Bucket的某个对象后实现快速的自动数据处理通过整合业界领先的数据处理算法处理引擎提供如下功能。
OFFICE文档格式转换。支持将OFFICE文档转换为JPG图片格式从而更好的支持网盘的文档预览功能。 大图处理。支持将超大的图片进行切割、缩放处理友好的支撑相册、图库场景的精细看图功能。 标签检测。通过人工智能技术识别图片、视频中的物品标签从而实现机器的制动打标更好的支撑推荐应用。 人脸检测。通过人工智能技术识别图片、视频中的人脸检测出人脸框判断人脸姿势、年龄、性别等属性。 元数据索引层 基于处理引擎提供的功能通过对场景的深入理解和梳理IMM封装了场景的元数据设计对外提供场景的元数据访问接口简化场景应用的设计难度、无须关注元数据索引数据库的运维工作目前支持如下的元数据索引。
人脸分组索引。构建元数据集合然后调用人脸分组的接口分析图片把得到的元数据加入到该元数据集合中从而可以得到该集合中相似的人脸。通过该索引可以快速的支撑网盘的人脸相册、家庭监控的陌生人检测、甚至新零售的顾客管理等场景。 标签分组索引。构建元数据集合然后调用标签分组的索引接口分析图片把得到的元数据加入到该元数据集合中从而可以根据标签搜索图片。通过该索引可以快速的支撑网盘的场景相册、家庭监控的宠物跟踪、甚至暴力、恐怖、色情图片等标签的搜索。 调度框架
IMM的所有数据处理请求都在调度框架下执行例如上述架构中提到的处理引擎层、元数据索引层请求它由2部分组成
运行实例Instance。运行实例是运行指定数据处理功能的节点例如运行图片打标功能的节点。它可以是虚拟机、或者Docker能够采用预留类型、或者Spot竞价类型的实例支持部署在阿里云的VPCVirtual Private Cloud环境保证数据处理功能的安全性、隔离性。 调度控制器Schedule Controller。调度控制器负责把IMM接收到的请求分发到指定功能的实例上它支持接收同步、异步的请求提供准实时、离线的调度。针对负载的变化实现了实例资源池的弹性伸缩、故障处理、自动升级等能力。 当调度框架收到同步的请求时例如DetectTag进行图片打标分析时。调度框架将会把请求分发到请求队列的Pipeline然后根据后端实例的节点状态、负载情况快速转发请求从而达到准实时调度的能力。为了保证请求的低时延以及请求的成功率通常选择预留的实例。
当调度框架收到异步的请求时例如CreateTagJob指定OSS的桶、前缀进行批量的图片打标分析时。调度框架将会把请求放到调度器调度器遍历OSS桶、前缀的对象然后生成单个对象的数据处理请求并分发到多个请求队列中再根据后端实例的节点状态、负载情况快速向多个实例转发请求从而达到离线调度的能力。为了保证离线调度的成本通常选择Spot类型的竞价实例。
通过上述调度控制和数据处理分离的架构调度框架提供如下亮点
准实时、离线调度。针对离线处理性价比竞争力的优化设计下也能提供准实时能力实现数据处理的闭环。 同步、异步请求。支撑一键式的异步处理需求同时还提供了同步请求的灵活性。 数据处理能力的安全性。利用VPC部署数据处理的实例保证了资源的隔离、安全的屏蔽。 如何使用 IMM提供控制台操作和API接口通过控制台快速的创建IMM的项目然后体验IMM的数据处理功能。
控制台使用
登录阿里云控制台执行如下操作
第一步开通智能媒体管理服务。开通后即可使用IMM提供的功能。 第二步创建项目。使用IMM必须要创建项目它是IMM资源管理、计费的基本单元。
创建了项目就可以体验IMM支持的功能
格式预览。支持OFFICE文档转换并用图片方式预览。 人脸检测。检测照片中的人脸识别年龄、性别眼部状态信息。 图片打标。检测图片包含的标签信息以及置信度值。 详细的控制台使用介绍请参考IMM快速开始。
API使用 IMM的API调用方法 调用IMM的API需要遵守阿里云的API规范请参考IMM API调用请您注意调用时的参数特别是签名。
如下是IMM典型功能的API调用示例。
文件格式转换CreateFormatConvertJob
POST https://imm.cn-shanghai.aliyuncs.com?ActionCreateFormatConvertJob
Projecttest
SrcUrioss://bucket1/test.pptx
TgtTypejpg
TgtUrioss://bucket1/imm-format-convert-tgt/session123/
ExternalIDaaa
该功能接口的详细信息请参考CreateFormatConvertJob。
图片打标DetectTag
POST https://imm.cn-shanghai.aliyuncs.com?ActionDetectTag
Projecttest
SrcUri[oss://bucket1/1.jpg]
该功能接口的详细信息请参考DetectTag。
人脸检测DetectFace
POST https://imm.cn-shanghai.aliyuncs.com?ActionDetectFace
Projecttest
SrcUri[oss://bucket1/A.jpg]
该功能接口的详细信息请参考DetectFace。
批量鉴黄CreatePornBatchDetectJob
POST https://imm.cn-hangzhou.aliyuncs.com?ActionCreatePornBatchDetectJob
Projecttest
SrcUrioss://bucket/prefix
TgtUrioss://bucket/imm-porn-batch-tgt/session1
该功能接口的详细信息请参考CreatePornBatchDetectJob。
立即体验 现在产品已经在阿里云官网正式开始公测点击这里立即体验。
后续规划 下一阶段IMM将和OSS集成拉通
在OSS控制台集成IMM功能。实现OFFICE文档的预览媒体对象的AI功能。 在OSS提供存量数据的IMM处理对接。可以通过OSS的控制台选择某个桶或者其目录调用IMM的批量异步任务例如批量鉴黄从而享受高性价比、便捷的数据处理。 在OSS的API中拉通。调用oss的x-oss-process处理引擎时调用到IMM的API进行处理。 通过这样端的端的集成从而让您在云上的管理更加易用。 点击查看原文
