小型购物网站开发,WordPress怎么上传头像,木门网站模板,wordpress相册插件下载克拉克拉#xff08;KilaKila#xff09;是国内专注二次元、主打年轻用户的娱乐互动内容社区软件。KilaKila 推出互动语音直播、短视频配音、对话小说等功能#xff0c;满足当下年轻用户个性化、碎片化的文娱需求。随着业务规模增长#xff0c;海量数据存储与计算的瓶颈也日…克拉克拉KilaKila是国内专注二次元、主打年轻用户的娱乐互动内容社区软件。KilaKila 推出互动语音直播、短视频配音、对话小说等功能满足当下年轻用户个性化、碎片化的文娱需求。随着业务规模增长海量数据存储与计算的瓶颈也日益突出由于单台服务器的处理能力有限海量数据的分析需要分布式计算模型。分布式的计算模型对数据分析人员要求较高且不易维护数据分析人员不仅需要了解业务需求同时还需要熟悉底层分布式计算模型。MaxCompute提供完善的数据导入方案以及多种经典的分布式计算模型可快速解决克拉克拉所面临的海量数据的计算问题有效降低企业成本并保障数据安全。对于使用方的我们不必关心分布式计算和维护细节便可轻松完成大数据分析最终我们采用阿里云MaxCompute方案进行数据上云。
一、数据上云
克拉克拉KilaKila数据源主要分为两部分1.结构化业务数据表MySQL2.非结构化用户行为日志
结构化业务库上云主要使用阿里云datax、DTS两种工具。
▲图一datax数据同步
datax原理是将MySQL数据完全透明化同步至MaxCompute数据表中是表对表的映射。 ▲图二DTS数据同步
DTS主要以MySQL binlog方式来进行数据同步该同步的优势在于不会影响线上生产环境MySQL库I/O压力与此同时对于删除操作也会进行实时同步。
用户行为日志上云该日志主要使用阿里云日志服务Log Service组件。该组件除了满足将海量日志存储在MaxCompute数据仓库中外也解决了实时业务计算需求如storm集群。 ▲图三Log Service工作流
▲图四日志服务各Topic日志源
▲图五克拉克拉用户行为日志片段
二、数据计算 为满足各类批处理计算业务需求基于MaxCompute建立了小时维度、天维度、月维度等不同维度的工作流以及业务流程。在数据开发阶段我们使用MaxCompute的Web datawork进行任务开发、任务运维、任务监控等。 ▲图六datawork SQL开发 在datawork中可以创建SQL脚本通过编写SQL语言满足我们的临时查询需求。 ▲图六datawork工作流
在datawork中可以根据业务场景配置工作流解决生产环节中所面临的定时计算任务等诉求。 图七datawork运维中心 运维中心可实时监控任务的状态对应不同的任务状态进行不同情况的报警 综上所诉得益于datawork强大的数据开发多样性和丰富的内置函数我们可以针对不同业务场景进行快速的项目开发和上线。 ** 三、克拉克拉业务应用场景**
克拉克拉(KilaKila)在实际生产环境中主要有以下四个数据业务应用场景。如下
1. 报表系统
▲图八克拉克拉BI报表系统架构
基于MaxCompute与quickBI组合快速构建了业务报表系统。该系统通过datawork部署系列报表计算任务最终的计算结果可存储MaxCompute表中以及MySQL表中。quickBI通过数据源关联即可实现前端趋势图灵活展示。 图八克拉克拉BI报表系统
2. 克拉克拉KilaKila榜单业务 图九克拉克拉榜单业务计算场景
通过MaxCompute满足了克拉克拉主播排行榜、热门榜单等排序业务。
3. 对外开放接口平台Restful API 为了满足第三方通过API接口获取克拉克拉数据仓库中的用户标签数据基于MaxCompute Lightning架构搭建开放接口服务通过该服务的网关鉴权机制保证了授权访问和防DDOS攻击。 图九克拉克拉开放接口结构
4.算法业务 阿里云机器学习平台是构建在阿里云MaxCompute原ODPS计算平台之上集数据处理、建模、离线预测、在线预测为一体的机器学习平台。克拉克拉KilaKila预测算法业务、推荐业务等相关项目均建立在机器学习平台基础上项目上线快且效果符合预期。 ▲图九克拉克拉短视频推荐业务
图十克拉克拉渠道ROI预测业务 通过阿里云所提供大数据解决方案除了解决了克拉克拉所遇到的大数据挑战也极大的缩短了克拉克拉Kilakila诸多数据项目从想法到落地的研发周期。
更多内容
1.《克拉克拉基于阿里云PAI实现渠道ROI投放预测系统》
2.《克拉克拉KilaKila借力阿里云快速构建短视频推荐系统》
3.《克拉克拉(KilaKila)大规模实时计算平台架构实战》
原文链接 本文为云栖社区原创内容未经允许不得转载。
