网站做推广百度好还是360好,关键词营销seo,建行个人网站,佛山网站建设格式有哪些简介#xff1a; 阿里云的CDN和视频云产品在直播安全场景下有广泛的应用#xff0c;阿里巴巴集团的淘宝、优酷等业务的直播正是基于这些产品底层能力#xff0c;构建了强大的直播安全体系。这个基于阿里巴巴集团自身业务实践打磨出来的架构设计#xff0c;也被众多上云客户…简介 阿里云的CDN和视频云产品在直播安全场景下有广泛的应用阿里巴巴集团的淘宝、优酷等业务的直播正是基于这些产品底层能力构建了强大的直播安全体系。这个基于阿里巴巴集团自身业务实践打磨出来的架构设计也被众多上云客户所采用。本篇文章阿里云产品架构师小流将与大家分享这些架构实践背后的一些思考希望对在寻找稳定、高效、经济的直播安全体系的开发者有所帮助。
阿里云的CDN和视频云产品在直播安全场景下有广泛的应用阿里巴巴集团的淘宝、优酷等业务的直播正是基于这些产品底层能力构建了强大的直播安全体系。这个基于阿里巴巴集团自身业务实践打磨出来的架构设计也被众多上云客户所采用。本篇文章阿里云产品架构师小流将与大家分享这些架构实践背后的一些思考希望对在寻找稳定、高效、经济的直播安全体系的开发者有所帮助。
分享主要分三块 首先对系统架构做一个整体介绍先了解系统架构的全貌。 然后把架构中的核心内容拆解出来进行详细的解读。 最后探讨这个架构的优势。
整体系统架构
2020年11月4日国家网信办正式发布《互联网直播服务管理规定》对互联网直播服务提供者、互联网直播发布者和用户的相关行为作出规范对一些不合法的直播行为做出了约束。新规要求互联网直播服务要“先审后发、即时阻断”。该规定自2020年12月1日起施行。下图的架构设计囊括了直播内容的产生、存储和消费的整个生命周期每个阶段都有相应的措施通过“防、控、封、堵”等多种方式来确保直播安全。 第1块橙色部分是内容生产安全模块。这个模块主要是对内容生产者进行身份验证以确保内容生产者的合法性尽可能从源头上规避非法发布者产生非法内容。是直播安全的第一道防线。 第2块是审核及管控模块对应架构图中的黄色部分。这个模块是整个直播安全体系的核心这个模块主要对内容生产后进行检查审核并对非法内容的播放进行管控。 第3块是播放安全模块对应架构图中浅蓝色部分。这个模块主要是对观众身份进行验证以确保直播内容不被别人所用保障内容的安全性同时有效解决盗链问题确保资产安全避免资损。 上面3个模块是传统直播安全体系必备的模块主要解决内容的安全问题契合了《互联网直播服务管理规定》中先审后发、即时阻断的要求。我们在实际的业务运维中发现直播基础架构与直播的质量和稳定性息息相关基础架构的安全也至关重要。因此我们把架构安全也纳入直播安全体系里面来。图中金色部分是架构安全模块在这里面有一些特殊的设计我们后面会讲到。
各个模块详细解读
一、内容生产安全
我们知道直播是一种实时性、互动性显著的互联网传播内容的形式。不同于传统的文字、图片、视频等传播形式直播紧密的将用户与直播内容交互在一起用户本身也是内容生产的一份子。因此很有必要对生产内容的用户进行严格管控进行有效的身份验证。要对身份进行验证最有效的手段就是进行鉴权。 鉴权有多种方式。通常是通过时间戳管控有效期通过加密算法验证身份合法性。传统方案的做法是用户与平台协商一个密钥将用户推流的url、时间戳、密钥等信息构成一个字符串按照约定的算法将字符串转化成相应的鉴权信息相关信息发送到CDN节点后由CDN进行比对如果时间戳在约定范围内且鉴权值正确则正常服务反之则拒绝。这种方案需要把密钥部署到CDN。这样除了平台内部以外多了一个鉴权key泄露的风险。所以在我们设计的方案里我们推荐对内容安全有要求的用户使用远程鉴权。 我们看上边这个架构图。远程鉴权的方案里用户在下发推流地址时将按照加密规则生成的url下发到推流端。推流端请求到CDN节点CDN节点在收到推流请求时根据约定通过http等方式将相关的鉴权信息比如url参数、UA、ClientIp等等透传给用户自有的远程鉴权服务器。鉴权服务根据透传的信息验证合法性并响应鉴权结果给到CDN节点。CDN节点根据回调的结果进行处理。
当然远程鉴权可以与传统的本地鉴权组合使用先在本地做一层判断再进行远程鉴权。这种做法可有效解决推流key泄露导致的盗推同时避免大量非法推流请求透传至远程鉴权服务器将服务器打爆。
二、审核及管控安全
近些年来由于视频业务爆发对视频监管及审核提出了更高的要求视频直播的识别及审核规格要升级。审核规格的升级往往意味着技术难度和成本的增加。如何在满足业务需求的情况下选择成本最优的智能审核方案是每个直播平台面对的难题。一般情况要做严格的审核采用1s一张的非关键帧的截图是一个比较稳妥的做法。但非关键帧的截图对截图服务的机器开销会比较大即客户的使用成本会比较高。如果是大平台流的数量非常大全量走非关键帧截图成本开销会非常大。因此考虑采用差异化的截图策略在成本和收益上做到一个平衡以期通过技术手段在避免成本的浪费的同时最大程度上做到识别不遗漏。比如核心大主播这类主播数量少但重要性高容易被人关注及攻击走非关键帧截图敏感高危类目走非关键帧截图游戏直播和赛事直播走关键帧截图。这里说的非关键帧截图是指强制1s一张截图关键帧截图是根据用户推流的gop每个gop截一张。 我们来看整体的架构设计平台主播推流到阿里云CDN阿里云CDN在收流后回调客户截图决策服务客户截图决策服务基于历史主播评分、主播分类比如高危、疑似、普通等决策流的截图策略并确定截图周期频率下发到阿里云截图服务阿里云截图服务根据决策回调对流进行截图对于客户截图决策服务无法决策的流阿里云截图服务会根据流的属性分析来自动决策比如在流刚入系统时进行安全的非关键帧截图后续解析发现视频流的关键帧符合关键帧截图条件时切换到关键帧截图。客户审核服务实时拉取阿里云截图并审核然后根据审核结果实时进行处理。如果是高危的调用阿里云流封禁接口实时封禁主播推流同时更新截图决策服务标注主播违规标识便于后续的截图决策。疑似的更新截图决策服务标注主播疑似违规标识调整截图策略普通的则不做处理。
截图审核目前也有很多基于AI的智能审核能力可以大量节省人工审核的成本。阿里云也有相应的产品可以做集成。
除了截图审核外通过标准的录制服务录制直播内容并进行存储结合截图审核可以进行人工的二次审核及审核确认审核结果可以同步到决策服务进行策略的干预和更新。
三、播放安全
内容生产安全和内容审核管控是从内容的产生和管理角度去解决安全问题这两个是直播内容安全的基础。但是在一些一旦犯错就会产生巨大影响的场景下需要有更严格的管控措施。这就要求我们在播放侧也需要有一些安全措施来加以保障。比如一些敏感内容或者大型活动的直播这类内容的关注度超高一旦内容审核有所遗漏哪怕只是一帧画面也会产生巨大的舆论影响造成播出事故。对于这种场景推荐使用阿里云直播产品延迟播放的能力给审核以足够的时间进行逐帧确认确保播出安全。延迟播放在日常一些需要确保时效性的场景下是不适用的因而延迟播放的能力需要能细化到对直播流粒度的管理。当然有一些业务场景比如部分用户需要实时而部分用户需要延迟也可以采用延迟播放来满足。 播放安全还需要具备通过技术手段避免资损产生的能力。资损有两类一类是盗链即非法用户通过非法途径播放内容。盗链往往会造成直播内容泄密导致正常业务受到影响使得平台花费大量资源制造的内容产生的价值大打折扣。更可恶的是盗链产生的流量费用往往还需要平台承担。对于盗链主要的管控措施就是进行鉴权。基础的鉴权比如ua、referer、时间戳、md5等能解决掉一部分盗链问题但是盗链和防盗链跟安全的攻防一样有来有往需要不断的更新或者升级防盗链能力才能有效的遏制盗链。因此我们比较推荐采用远程鉴权的方式来做防盗链。拉流的远程鉴权和推流的远程鉴权类似这里就不再展开了。无论是基础鉴权还是远程鉴权都是在拉流接入时候验证身份并不能做到万无一失。DRM是另一种更高阶的防盗链技术这种技术主要是对视频帧逐帧加密在播放端再解密。DRM的防盗链效果更好但需要有比较强的视频处理的技术能力。
另一类资损是对不在播的内容做了错误的资源位推荐影响用户体验造成推荐资源的浪费。这类问题主要是对热门主播的直播状态管理不准确造成的。我们推荐的做法是将直播的业务下播和真正的CDN下播结合起来通过CDN的关播回调来确认是否直播下播对于CDN已下播但直播间未关闭的则关闭直播间的相关逻辑。其做法是当用户的直播管控中心收到业务关播信息则查询CDN的关播信息若CDN显示流还在线则调用阿里云封禁服务进行断流。另外直播管控中心定时从CDN同步流在线状态对于流已不在线但业务关播仍显示在线的超出预定时间的则关闭直播间相关逻辑。为了确认流状态更新的安全避免接口泄露被有心人利用我们也建议回调做鉴权只有通过鉴权的回调才能采信接受更新。
四、架构安全
上面三块内容从全链路上都保证了直播内容的安全但在日常运维中还有稳定性的要求。只有在稳定有质量保证的直播平台上构建的直播内容安全措施才是有意义的。同时在有些场景下比如大型活动超高的关注度流量洪峰的冲击对稳定性有更高的要求。没有一个有效的架构来支撑一旦有点风吹草动往往会造成活动事故。我们把这类场景衍生出来的需求纳入到架构安全里面来。架构安全本质是要保证日常运营和大型活动的推播稳定尤其是在大型活动时能够承受住流量洪峰在故障时有快速调整和恢复的能力。 在技术上主要依赖全链路灾备来实现。首先是传输链路容灾CDN直播的推拉流是多层架构CDN内部传输具备故障自动切换的能力当检测到某条传输链路有问题时自动切换到另外的链路上生效时间秒级。其次是多中心容灾阿里云的架构里直播中心是所有处理直播视频的枢纽一旦中心出现问题整个直播将受到巨大的影响。阿里云的直播中心本身是高可用架构基本上可以满足日常的稳定性要求。在高可用架构的基础上采用多中心融灾的方案解决单一直播中心故障造成大面积直播中断的问题。需要说明的是多中心容灾的成本较大建议在大型活动等特殊场景下再启用。
除了上述传输层面的全链路容灾我们还推荐采用主备合流的方式来确保架构安全。其做法是将传输融灾向下延伸至推流端推流方从不同区域或运营商推多路流至CDNCDN在直播中心进行合流选择其中一路对外分发当该路流出现异常时可秒级切换至另一路流这样可以做到用户切换无感知。
架构的优势
上面详细介绍了整体的系统架构那么为什么要用这样的架构这样的架构有什么优势呢我们来看
首先从前面的介绍可以看到整个架构的每一层都有强大的鉴权能力。我们推荐的远程鉴权优点尤其明显因为key是直播业务方自己保管的不需要给第三方商业CDN部署鉴权算法也不需要同步给第三方减少了暴露的风险。远程鉴权可以根据业务情况及时调整有更好的灵活性。也可以针对推流和播放实现不同的策略比如推流用同步鉴权保证核心内容安全播放用异步鉴权保证数据安全的同时不影响播放秒开重点流鉴权服务可以自助设置特殊策略多重保障。另外阿里云直播CDN产品具有业界领先的边缘编程能力基于该能力可以快速实现鉴权的自定义。
其次我们推荐的审核管控架构是经济且高效的方案。通过这个架构可以做到成本与收益的平衡。管控粒度可以到具体的流非常的精细化。当出现异常时可以秒级对直播信号进行阻断风险控制可以说是非常及时、立竿见影。截图审核、录制审核和延迟播放等多种审核管控机制逐层的筛选和控制让非法内容无处藏身。
最后我们提供的整个直播基础架构具备全链路的灾备能力容灾能力强。阿里云边缘云具备国内领先的CDN能力经受了多年双11、世界杯等大型活动的洗礼在应对大流量突发上有丰富的经验。完善的内部监控可以在故障发生前提前排除隐患秒级生效的故障切换能力可以做到观众无感。基础架构稳定了在流量洪峰来临时更多是弹性资源的快速补充阿里云的资源储备在业界是数一数二的快速的资源建设能力可以从容应对任何的流量洪峰。
原文链接
本文为阿里云原创内容未经允许不得转载。
