php手机网站开发工具,电商平台有哪些?,沙田网站建设公司,seo优化软件oem前言#xff1a;StarRocks原名DorisDB#xff0c;是新一代极速全场景MPP数据库。StarRocks 是 Apache Doris 的 Fork 版本。StarRocks 连接的多种源。一是通过这个 CDC 或者说通过这个 ETL 的方式去灌到这个 StarRocks 里面#xff1b;二是还可以去直接的和这些老的 kafka 或…前言StarRocks原名DorisDB是新一代极速全场景MPP数据库。StarRocks 是 Apache Doris 的 Fork 版本。StarRocks 连接的多种源。一是通过这个 CDC 或者说通过这个 ETL 的方式去灌到这个 StarRocks 里面二是还可以去直接的和这些老的 kafka 或者是这种 TP 的数据库或者这种 log 的话直接可以进行灌入三是 External table 目前支持这种 hive 、es、 MySQL 当然这里边还支持 hudi 和 Iceberg StarRocks官网https://docs.starrocks.io/zh/docs/introduction/StarRocks_intro/ 一、StarRocks简介
1.1、StarRocks定义 StarRocks 是一款高性能分析型数据仓库使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高效导入数据也支持直接分析数据湖上各种格式的数据。StarRocks 兼容 MySQL 协议可使用 MySQL 客户端和常用 BI 工具对接。同时 StarRocks 具备水平扩展高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP 报表、数据湖分析等场景。 StarRocks 分为社区版和企业版社区版为开源企业版需付费使用。社区版支持了大部分的功能但不支持StarRocks Manager可视化运维监控平台在数据库管理上不太方便。 StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理就可以用 StarRocks 来支持多种数据分析场景的极速分析。
StarRocks 架构简洁采用了全面向量化引擎并配备全新设计的 CBO (Cost Based Optimizer) 优化器查询速度尤其是多表关联查询远超同类产品。
StarRocks 能很好地支持实时数据分析并能实现对实时更新数据的高效查询。StarRocks 还支持现代化物化视图进一步加速查询。
使用 StarRocks用户可以灵活构建包括大宽表、星型模型、雪花模型在内的各类模型。
StarRocks 兼容 MySQL 协议支持标准 SQL 语法易于对接使用全系统无外部依赖高可用易于运维管理。StarRocks 还兼容多种主流 BI 产品包括 Tableau、Power BI、FineBI 和 Smartbi。
1.2、新一代弹性 MPP 架构
下图是StarRocks 的架构这个架构就是有一个 FE 和 BE 而这个 FE 有几个模块。第一个模块就是 catter log 的一个模块就是他会存这个原数据然后他还有一个 planner ,相当于所有的 MySQL 的第一站全部打到 FE 里然后 FE 进行 SQL 的整个的解析到最后的这个分布式的物理的 plan 的生成然后都搞完之后真正的做整个的这个计算是要在 BE 里去做计算的。
他整个的这个架构是非常简单的就是说在 FE 目前是一个稍微老一些的因为这个其实是从 Doris 演化过来的,所以这是一个当时 Doris 有的时候还没有这个 raft 的这种玩法,但是现在社区 StarRocks 要慢慢的把 FE 改成这种基于 raft 的这种结构它是目前现在是基于 Borken DB的但是可以认为跟 raft 也差不太多他是几台高可用的 FE 再加上这种 BE 。 BE 实际上做的就是这种 Execution Engine 还有这种存储引擎 storage engine 基本他就是这两个大的模块。实际上整个链路就是 MySQL 第一条打到查询的时候打到 FE FE 再把这个 SQL 文本翻译成这个分布式的执行计划分布式的执行计划的数据都是按这种 buget 的方式去存到 BE 里。这一个这张表或者说查的这些 SQL 都命中了哪些 tablet 会把这个相应的 SQL 的执行引擎给他搞到这个 BE 上然后 BE 算完之后再回给 FE 大概整个就是这么一个数据流。 1.3、StarRocks适用场景
StarRocks 可以满足企业级用户的多种分析需求包括 OLAP (Online Analytical Processing) 多维分析、定制报表、实时数据分析和 Ad-hoc 数据分析等。
1OLAP 多维分析
利用 StarRocks 的 MPP 框架和向量化执行引擎用户可以灵活的选择雪花模型星型模型宽表模型或者预聚合模型。适用于灵活配置的多维分析报表业务场景包括 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析
2实时数据仓库
StarRocks 设计和实现了 Primary-Key 模型能够实时更新数据并极速查询可以秒级同步 TP (Transaction Processing) 数据库的变化构建实时数仓业务场景包括 电商大促数据分析 物流行业的运单分析 金融行业绩效分析、指标计算 直播质量分析 广告投放分析 管理驾驶舱 探针分析APMApplication Performance Management
3高并发查询
StarRocks 通过良好的数据分布特性灵活的索引以及物化视图等特性可以解决面向用户侧的分析场景业务场景包括 广告主报表分析 零售行业渠道人员分析 SaaS 行业面向用户分析报表 Dashboard 多页面分析
4统一分析 通过使用一套系统解决多维分析、高并发查询、预计算、实时分析查询等场景降低系统复杂度和多技术栈开发与维护成本。 使用 StarRocks 统一管理数据湖和数据仓库将高并发和实时性要求很高的业务放在 StarRocks 中分析也可以使用 External Catalog 和外部表进行数据湖上的分析。 二、StarRocks特性
StarRocks的架构设计融合了MPP数据库以及分布式系统的设计思想具有以下特性
架构精简
StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架本身能够充分的利用多节点的计算能力整个查询并行执行从而实现良好的交互式分析体验。 StarRocks集群不需要依赖任何其他组件易部署、易维护极简的架构设计降低了StarRocks系统的复杂度和维护成本同时也提升了系统的可靠性和扩展性。
标准SQL
StarRocks支持标准的SQL语法包括聚合、JOIN、排序、窗口函数和自定义函数等功能。StarRocks可以完整支持TPC-H的22个SQL和TPC-DS的99个SQL。StarRocks还兼容MySQL协议语法可使用现有的各种客户端工具、BI软件访问StarRocks对StarRocks中的数据进行拖拽式分析。
全面向量化引擎
StarRocks的计算层全面采用了向量化技术将所有算子、函数、扫描过滤和导入导出模块进行了系统性优化。通过列式的内存布局、适配CPU的SIMD指令集等手段充分发挥了现代CPU的并行计算能力从而实现亚秒级别的多维分析能力。
智能查询优化
StarRocks通过CBO优化器(Cost Based Optimizer)可以对复杂查询自动优化。无需人工干预就可以通过统计信息合理估算执行成本生成更优的执行计划大大提高了Adhoc和ETL场景的数据分析效率。
联邦查询
StarRocks支持使用外表的方式进行联邦查询当前可以支持Hive、MySQL、Elasticsearch三种类型的外表用户无需通过数据导入可以直接进行数据查询加速。
高效更新
StarRocks支持多种数据模型其中更新模型可以按照主键进行upsert/delete操作通过存储和索引的优化可以在并发更新的同时实现高效的查询优化更好的服务实时数仓的场景。
智能物化视图
StarRocks支持智能的物化视图。用户可以通过创建物化视图预先计算生成预聚合表用于加速聚合类查询请求。StarRocks的物化视图能够在数据导入时自动完成汇聚与原始表数据保持一致。并且在查询的时候用户无需指定物化视图StarRocks能够自动选择最优的物化视图来满足查询请求。
流批一体
StarRocks支持实时和批量两种数据导入方式支持的数据源有Kafka、HDFS、本地文件支持的数据格式有ORC、Parquet和CSV等StarRocks可以实时消费Kafka数据来完成数据导入保证数据不丢不重exactly once。StarRocks也可以从本地或者远程HDFS批量导入数据。
极简运维
StarRocks具有高可用易扩展的特性元数据和数据都是多副本存储并且集群中服务有热备多实例部署避免了单点故障。集群具有自愈能力可弹性恢复节点的宕机、下线、异常都不会影响StarRocks集群服务的整体稳定性。
StarRocks采用分布式架构存储容量和计算能力可近乎线性水平扩展。StarRocks单集群的节点规模可扩展到数百节点数据规模可达到10PB级别。 扩缩容期间无需停服可以正常提供查询服务。 另外StarRocks中表模式热变更可通过一条简单SQL命令动态地修改表的定义例如增加列、减少列、新建物化视图等。同时处于模式变更中的表也可也正常导入和查询数据。
StarRocks是一个自治的系统。节点的上下线集群扩缩容都可通过一条简单的SQL命令来完成。 三、StarRocks优势
极速SQL查询
全新的向量化执行引擎亚秒级查询延时单节点每秒可处理多达100亿行数据。强大的MPP执行框架支持星型模型和雪花模型极致的Join性能。综合查询速度比其他产品快10-100倍查看性能测试报告
实时数据分析
新型列式存储引擎支持大规模数据实时写入秒级实时性保证。支持业务指标实时聚合加速实时多维数据分析。新型读写并发管理模式可同时高效处理数据读取和写入。
高并发查询
灵活的资源分配策略每秒可支持高达1万以上的并发查询。可高效支持数千用户同时进行数据分析。
极简运维
支持在大数据规模下进行在线弹性扩展扩容不影响线上业务。集群可扩展至数百节点PB量级数据。 集群运行高度自治化故障自恢复运维成本低。
国产核心软件
完全自主创新全球领先。更完善的本地化专家服务体系。 四、StarRocks VS ClickHouse
指标ClickHouseStarRocksMPP架构Scatter-Gather模式聚合操作依赖单点完成操作数据量大时有瓶颈现代化MPP架构可以实现多层聚合、大表Join架构依赖ZooKeeper进行DDL和Replica同步内置分布式协议进行元数据同步Master/Follower/Observer节点类型事务性100万以内原子性DDL无事务保证事务保证数据ACID数据规模单集群 10PB单集群 10PB标准SQL的支持不支持标准的SQL语言支持兼容Mysql协议分布式Join不支持Join仅支持大宽表模式支持主流分布式Join不仅支持大宽表模型还支持星型和雪花模型高并发查询不支持高并发支持高并发外表支持MySQL/Hive的表外查MySQL/ES/Hive的表Exactly Once语义不支持事务无法保证数据写入不丢不重支持事务可实现数据不丢不重集群扩容扩容需人工操作工作量巨大且影响线上服务扩容只需要迁移部分数据分片系统自动完成不影响线上服务运维要求依赖ZK运维和维护成本高不依赖外部系统极简运维 参考链接
什么是 StarRocks | StarRocks
StarRocks调研
开源大数据 OLAP 引擎最佳实践 | 学习笔记二-阿里云开发者社区
