培训网站免费,阿里企业邮箱后缀,python在线运行,网站建设服务商 需要什么主机K.K在《未来十二大趋势》中认为#xff0c;我们正处于一个数据流动的时代。商业乃数据之商业。归根结底#xff0c;你在处理的都是数据。
的确#xff0c;当数据成为新的核心生产要素之际#xff0c;数据分析就犹如最重要的生产工具之一#xff0c;决定着企业在数字化时代…K.K在《未来十二大趋势》中认为我们正处于一个数据流动的时代。商业乃数据之商业。归根结底你在处理的都是数据。
的确当数据成为新的核心生产要素之际数据分析就犹如最重要的生产工具之一决定着企业在数字化时代生产力水平。近年来,无论国外的Snowflake、Databricks还是国内StarRocks、PingCAP大批数据分析型公司涌现都旨在满足越来越多的数据分析需求帮助各种企业充分释放数据生产力。
这其中StarRocks就是数据分析领域一颗冉冉升起的新星。在短短几年时间里StarRocks在Github获得star 6300成为同类开源数据库项目里增长最快的并且在2022年底正式捐赠给 Linux Foundation吸引到全球开发者和用户参与未来社区的建设。
正如StarRocks TSC Member、镜舟科技 CTO 张友东所言StarRocks希望通过技术创新来简化数据技术栈通过一个引擎实现全场景的“One Data、All Analytics”愿景。 为何需要“One DataAll Analytics”
当前人工智能、大数据、物联网等数字化技术在不断提升企业生产力的同时随之而来就是复杂性的持续提升。这种复杂性在数据领域体现的尤为明显尤其是数据技术与业务场景的不断融合复杂性困扰着诸多身处数字化转型的企业。
复杂性首先体现在数据本身数据正加速走向海量化和多样化。过去一家企业往往以结构化数据为主数据规模通常是TB级别现在文本数据、轨迹数据、日志数据等非结构化数据大幅增加PB级数据量正成为越来越多企业的常态。 其次企业如今的业务场景日趋复杂随之而来的就是数据栈相关技术、工具、产品大量增加。从过去单一的数据仓库到现在指标平台、交互式分析、实时分析、流计算等等企业面临的数据栈环境复杂程度远胜以往并且随着AI相关技术融入这种复杂性还在持续增加。
第三数据消费需求的复杂性大幅提升。过去数据消费仅仅是管理层少数人的“权力”现在“人人用数”已经成为众多企业追求的目标。例如有些走在前沿的互联网、金融等企业甚至一名普通业务员工都是数据消费者并且在日常业务中随时会进行数据分析。
因此在海量数据环境成为既定事实的情况下企业在数据领域所面临的复杂性挑战将是数字化转型中一道必须面临的难题。在张友东看来“One DataAll Analytics”是化解数据分析复杂性的关键而StarRocks3.0版本的推出为实现“One DataAll Analytics”目标前进了一大步。
StarRocks 3.0产品大进阶
众所周知数据分析类产品拥有多年历史。在大数据兴起之前Teradata、Greenplum等传统数据仓库一直占据着主流市场位置随着大数据兴起以Hadoop 为代表的大数据平台迅速成为数据分析的基础平台如今云原生、湖仓一体等技术的兴起加速推动着数据分析产品的创新。
当前数据分析类相关的公司众多。不过StarRocks用出色表现吸引了业界的大量关注。自从2021年9月份正式开源以来StarRocks已成长为开源领域的明星项目获得了全球开发者的认可。在笔者看来StarRocks之所以在短时间即获得阶段性的成功关键在于产品的迭代速度和创新能力。
从开源至今StarRocks已经历了三个大版本的迭代从1.0版本主打性能到2.0版本围绕融合统一再到现在3.0版本围绕湖仓一体的创新StarRocks成为当下数据分析领域现象级的产品。 以数据仓库架构为例存算分离是大势所趋。随着云原生等技术的高速发展通过存算分离架构计算、存储等资源可以更好地弹性化以应对业务对于资源的使用从而实现成本、效率的最优化。StarRocks 3.0同样采用了存算分离架构架构设计高度抽象且极简无需依赖复杂组件具有极强的扩展性和弹性并且支持Multi-Warehouse多个Warehouse共享一份数据不同 Warehouse 应用在不同工作负载计算资源可以进行物理隔离内部按需独立弹性伸缩。
“存算分离架构真正带来两大价值降本增效和弹性伸缩。像在存储层面采用存算分离架构后的StarRocks 3.0整体存储成本可以下降80%而计算节点则因为无状态可以通过快速弹性、跨可用区部署等方式来提高计算的可用性并且计算资源能够进行物理隔离按需独立弹性伸缩。”张友东介绍道。
另外湖仓走向一体化也是数据分析产品的一大重要趋势。通常企业在经历了多年的数字化转型之后都会存在着数据仓库和数据湖两种数据分析技术栈它们各具特点与优势数据仓库往往具备数据质量高、性能出色、实时分析强等优势而数据湖则可以存储各种不同类型的数据扩展性和开放性强。因此融合数据仓库与数据湖的各自优势就成为业界努力的方向。
当前业界并不缺少湖仓相关的解决方案。比如在湖上性能不满足采用湖上建仓的方案加速查询再如数据仓库扩展查询外部数据湖能力等。
张友东直言这些方案更像是一种组合式方案并没有真正做到湖仓一体“湖仓一体意味着一套架构满足所有数据分析的需求也即One DataAll Analytics。”
以StarRocks 3.0的湖仓一体化架构为例实现了数据统一存储管理一份数据作为 Single source of truth另外强大的分析引擎可以基于一份数据满足包括BI 报表、交互式分析、实时分析、ETL 数据加工等场景的查询诉求更加关键的是具备按需数据加工/查询加速的能力。 “未来数据分析演进的趋势肯定是湖仓一体用户无需关注建湖还是建仓核心目标是低成本、高效的解决数据分析问题。”张友东补充道。
此外随着数据量和业务复杂性的大幅提升使得ETL成为一件极为辛苦的工作通常需要耗费大量人力、精力在ETL相关工作上。对此StarRocks 3.0也在瞄准No ETL的方向在整个数据管理中减少ETL的工作量并且通过物化视图让用户尽量不感知ETL从全链路层面致力于简化ETL的pipeline。
毫无疑问StarRocks 3.0版本的推出是StarRocks项目发展的一个关键节点。这意味着StarRocks 产品力已经实现重要的突破可以助力用户实现全场景的数据分析架构统一也为自身带来了更加广阔的市场空间。
多个头部客户青睐StarRocks未来值得期待
随着数据驱动型应用大量涌现数据分析、数据消费需求也随之产生。Gartner认为数据分析已成为企业数字化转型中致力于建设的核心能力。因此数据分析赛道未来具有极为光明的前景。
毫无疑问从StarRocks的社区发展、用户群、商业生态建设等情况拉看StarRocks正处于一个高速发展的极端未来值得更多的期待。
其一得益于对于开源理念的坚持StarRocks 开源社区一直处于非常活跃的状态为后续的发展带来了十足的生命力。目前社区开发工作由镜舟科技主导推进并且贡献了70%以上的核心代码此外阿里云、腾讯、火山引擎、滴滴出行等头部企业已经积极参与到社区之中并且持续给社区贡献了物化视图、CN 弹性节点等诸多重要特性。 其二得益于行业头部客户的积极参与和产品创新力的提升StarRocks产品在金融、零售、物流、制造和互联网等多个行业头部用户的复杂业务场景中得到锤炼。据悉目前有超过 300家市值10亿美金以上的大型用户在生产环境使用 StarRocks场景覆盖 BI 报表、交互式探寻分析、实时分析、湖仓分析等一系列场景未来有望在场景应用中持续推动产品创新与快速迭代。 其三StarRocks 重视商业生态的建设。除了头部行业用户使用之外StarRocks目前与国内各大云服务商均有合作致力于借助云计算这个大生态来推动开源项目的商业化让产品走向更加广泛的市场群体在市场竞争中获得成长。
“相比于北美等发达市场中国市场的数据分析还有巨大的潜力空间StarRocks希望通过技术创新帮助更多用户实现One DataAll Analytics。”张友东最后表示道。
