临沂做网站好的公司,西安到北京火车票查询,制作ppt的网站,网站搭建教学网简介#xff1a; 本次分享介绍客如云如何利用阿里云大数据产品来建设数据中台。 客如云是2012年成立的一家公司#xff0c;覆盖餐饮、零售、美业#xff0c;还有其他的业态以及服务的一家综合性的SaaS公司。到2020年为止#xff0c;客如云已经服务了60万商家#xff0c;帮…简介 本次分享介绍客如云如何利用阿里云大数据产品来建设数据中台。 客如云是2012年成立的一家公司覆盖餐饮、零售、美业还有其他的业态以及服务的一家综合性的SaaS公司。到2020年为止客如云已经服务了60万商家帮助60万商家实现了数字化、智能化的改造接下来我们会覆盖更多的商家。 客如云技术总监 李浩
本次分享介绍客如云如何利用阿里云大数据产品来建设数据中台。 客如云是2012年成立的一家公司覆盖餐饮、零售、美业还有其他的业态以及服务的一家综合性的SaaS公司。到2020年为止客如云已经服务了60万商家帮助60万商家实现了数字化、智能化的改造接下来我们会覆盖更多的商家。 目前客如云是四中心的架构我们的研发中心在成都硬件研发中心在深圳总部在北京销售中心在武汉。接下来主要介绍我们的业务范围客如云是以软硬一体的SaaS收银服务为核心的所以SaaS收银系统的硬件和软件是我们第一层是我们的效率工具。第二层我们和餐饮、零售的友商企业一起打造的人、财、物、客的生态系统。第三层我们利用增值服务比如营销、供应链、人效、商业智能、金融服务还有大数据的应用去满足各层级的商家的需求。从S1到S5所有的大小品牌我们是全覆盖的。我们的愿景是帮助客户帮助商家实现店开天下客如云来而我们从中能够更好的服务于商家帮助商家提效降本去获得更多的营收降低更多的成本。 目前客如云整体的系统全部建设在阿里云的服务之上保证了在较少的资源的情况下支撑我们现在成为平台级的公司。 接下来介绍一下我们如何利用阿里云的产品来进行数据中台建设的。大家都知道阿里巴巴的数据中台是3个One的核心One IDOne DataOne Service。在基础设施的完善之上首先我们要做到数据集成所以我们利用了阿里云的DataHub、DataWorks、DTS等产品把我们的业务数据统一到我们的Hadoop集群里面然后我们现在再迁移到我们的MaxCompute里面利用大数据的产品来进行整个数据仓库的建设。MaxCompute帮助我们实现了整个离线数据的计算和存储包括数仓空间的建设然后我们利用PAI建设了我们的算法中心和机器学习的样板利用Flink的技术打造了实时计算的平台。我们在这些实时计算和离线计算的基础之上建立了统一的查询服务。利用阿里云的Hologres产品实现了我们的一体式查询的One Service的理念。
在这个基础上我们保证了我们整个的数据应用包含我们内部的数据应用BI的产品还有外部的数据应用大屏还有报表还有整个的算法智能推荐、精准营销等这块的整个的实现建立了我们客如云的数据中台然后快速的满足了我们的内部用户和外部用户的数据需求。 接下来我们再讲一下在这个过程中我们如何利用阿里云的产品来帮助解决我们的哪些痛点问题
首先我们看到的是我们原先是自建的Hadoop集群难以维护因为成本很高。我们经过了一年的努力把整个Hadoop集群换成了MaxCompute这样的效果很明显我们的运维成本降低了1倍计算速度增加了8倍保证了我们快速交付ETL等计算处理的能力给到业务线来使用。
第二个问题我们遇到了很多数据安全的问题自建的Hadoop集群没办法做数据审计所以我们用到了阿里云的敏感数据保护产品SDDP来进行数据的分级分类保护我们的产品实现数据的零泄漏。同时我们自建的Presto集群做交互式查询时和我们的MaxCompute又不能相互融合我们调研了以后发现Hologres的产品相对来讲比Presto性能更好一些所以我们用Hologres的产品代替了Presto保证了我们可以直接从MaxCompute里查询使整个交互实现了无缝对接。接着我们遇到了一些数据模型数据建模的产品目前还在调研Dataphin产品实现整个的数据模型的建设。
我们最大的痛点是实时大屏的性能问题这个时候我们发现用Flink的技术再加上QuickBI能解决我们的前端和后端的问题。接下来我们以实时大屏为核心来介绍一下我们怎么样应用的然后怎么样解决掉这个问题的。 数据大屏我们遇到的难点第一个是我们的数据源太多了我们用到了MySQL、 RDS、MongoDB、Redis、ES等多种数据来源我们要把这些数据来源统一的汇聚解决掉我们的数据源多的问题。第二个是我们的大屏性能方面现在我们数据量特别大然后样式又特别多需求特别复杂这个时候怎么样去解决掉这个问题。接着是看到这些需求生成这些数据后如何快速的在前端展示这也是一个很大的问题。所以我们在调研QuickBI产品的时候发现确实是能够解决我们这方面的问题。 我们再来看一下我们是如何解决掉问题的。第一个问题我们其实主要还是要做数据的治理源数据的管理血缘关系甚至是一些多数据源的处理减少我们的现有的集群。第二个问题因为数据量大现在各类企业其实有着海量的数据需要解决快速查询的问题方案就是我们利用阿里云的实时计算平台基于Flink开源技术解决了我们整个的查数据速度的问题。我认为整个的阿里云的Flink技术确实是能够更快的查询到想查询的海量的数据它的性能和高扩展性我们确实是得到了体验我觉得在这块领域阿里云还是名列第一的。而在整个大数据前端这块我们发现的问题是渲染慢。但是我们用QuickBI自定义拖拽快速地去定义数据源导入到不同的框标里面可以快速的查询出来。 上面是解决了一些问题接下来介绍客如云的实时计算平台是怎么样的架构。我们通过4个层基础数据层实时计算层、接口层和展示层来架设我们的实时计算平台。重点讲一下我们的实时计算层计算层这块其实我们有一些需求不单是当天的数据比如说商家要看这个月现在为止我们的营业额是多少他不但需要当天的数据还需要从8月1号到现在为止所有的数据。所以它会体现到我们不但要有流表的接入还要有维表的接入还要有聚合计算从而形成了一个数据流。多流的汇聚实现了我们在接口层的调用的情况下展示层能够展示到我们当天能满足商家每个维度的需求的数据就像我举的那个例子一样能够看到当月到现在为止它的营业额是多少这样的一个场景。所以说我们实时计算的平台主要是为了满足业务各方面的需求。 接下来分享一下实际应用的场景。我们已经帮着一些菜市场实现了数据大屏。这块的展示主要是当天的销量是什么哪个销量最好这样能够帮助商家了解第二天进什么货更合适。这个大屏的应用实际上已经是能够帮助商家在实际的生活场景里面得到很好的体验。 餐饮实时大屏是基于我们现有的数据展示了一下我们中国餐饮大数据的一些情况但这是只是代表一部分客人的数据。当然这里面可以说客人的规模越来越大我们做的也会越来越好我们就可以展示出来到底中国人民喜欢点什么菜哪个菜是最好吃的大家喜欢什么样的口味我们都可以通过我们的实时数据计算通过数据挖掘来发现出来。 BI应用主要是为内部客户使用我们的运营团队、销售团队、研发团队还有其他团队能够保证我们整个的在数据的分析运营和辅助决策里面起到很大的作用节省很多的管理层的成本和时间。利用我们的BI产品可以解决这样的需求。
总结一下主要介绍的三点一个是客如云是干什么的客如云是要帮助我们的餐饮、零售、美业的商家实现店开天下、客如云来的愿景的SaaS公司。第二点是客如云如何利用阿里云的大数据产品来建设客如云的数据中台。第三点是客如云如何利用实时大屏、我们的商家画像产品以及其他大数据应用产品来赋能商家。
原文链接
本文为阿里云原创内容未经允许不得转载。
