网站建设佰金手指科杰二六,wordpress需要备案,网站怎么优化呢,企业官网网站优化公司注#xff1a;本篇文章阐述的是StarRocks-3.2版本的表设计相关内容。 建表是使用StarRocks非常重要的一环#xff0c;规范化的表设计在某些场景下能使查询性能有数倍的提升。StarRocks的表设计涉及到的知识点主要包括数据表类型、数据分布#xff08;分区分桶及排序键#…注本篇文章阐述的是StarRocks-3.2版本的表设计相关内容。 建表是使用StarRocks非常重要的一环规范化的表设计在某些场景下能使查询性能有数倍的提升。StarRocks的表设计涉及到的知识点主要包括数据表类型、数据分布分区分桶及排序键、索引以及视图、物化视图等。
一、数据表类型 StarRocks-3.2版本提供四种类型的表数据模型包括明细表、主键表、聚合表和更新表适用于存储多种业务数据例如原始数据、实时频繁更新的数据和聚合数据。
1.1 Duplicate Key Model 明细模型是StarRocks中最常用的数据模型适用于既没有聚合需求又没有主键唯一性约束的原始数据的存储。在该模型下即便导入两条完全相同的数据StarRocks也会将数据原封不动的保存进表。 1.2 Aggregate Key Model 聚合模型会在数据导入时将维度列相同的数据根据指标列设定的聚合函数进行聚合最终表格中只会保留聚合后的数据。 1.3 Unique Key Model 更新模型的特点是只保留相同主键下最新导入的数据。在更新模型中排序键构成表的唯一性约束成为我们常说的“主键”。明细模型会将所有写入的数据保留聚合模型是对写入的数据进行聚合处理 1.4 Primary Key Model 主键模型建表时支持定义主键和指标列查询时返回主键相同的一组数据中的最新数据。主键模型和更新模型的区别在于更新模型的实现方式是读时合并merge on read)简称Mor 。Primary 模型实现方式是写时合并merge on write)简称Mow。聚合模型和更新模型都不支持update功能主键模型通过DeleteInsert 的策略实现update功能 ps数据表数据模型的详细内容见文章 第2.2章 StarRocks表设计——排序键和数据模型-CSDN博客文章浏览阅读1.3k次点赞28次收藏24次。2.2 StarRocks表设计——排序键和数据模型https://blog.csdn.net/SHWAITME/article/details/136136900?spm1001.2014.3001.5501
二、数据分布 StarRocks 采用分区分桶的两级数据分布策略将数据均匀分布各个 BE 节点。查询时能够有效裁剪数据扫描量最大限度地利用集群的并发性能从而提升查询性能。 2.1 分区 逻辑概念表中数据可以根据分区列通常是时间和日期分成一个个更小的数据管理单元。查询时通过分区裁剪可以减少扫描的数据量显著优化查询性能。
2.2 分桶 物理概念同一个分区中的数据通过分桶划分成更小的数据管理单元。并且分桶以多副本形式默认为3均匀分布在 BE 节点上保证数据的高可用。 一个分区按分桶方式被分成了多个桶 bucket每个桶的数据称之为一个Tablet。StarRocks一般采用Hash算法作为分桶算法即在同一分区内分桶键哈希值相同的数据会划分到同一个Tablet数据分片Tablet 以多副本冗余的形式存储是数据均衡和恢复的最⼩单位数据导入和查询最终都下沉到所涉及的 Tablet 副本上。ps建表时如果使用哈希分桶则必须指定分桶键。 ps分区分桶及副本的详细内容见文章文章是StarRocks-2.5.4
第2.4章 StarRocks表设计——分区分桶与副本数_starrocks分区管理-CSDN博客文章浏览阅读1.1k次点赞31次收藏22次。2.4 StarRocks表设计——分区分桶与副本数_starrocks分区管理https://blog.csdn.net/SHWAITME/article/details/136140126 三、数据类型 除了基本的数据类型如数值、日期和字符串类型StarRocks 还支持复杂的半结构化数据类型包括 ARRAY、JSON、MAP、STRUCT。官网文章地址数据类型概述 | StarRocksStarRocks 支持以下数据类型数值类型、字符串类型、日期类型、半结构化类型、其他类型。您在建表时可以指定以下类型的列向表中导入该类型的数据并查询数据。https://docs.starrocks.io/zh/docs/sql-reference/sql-statements/data-types/data-type-list/
四、存储设计
4.1 列式存储 在StarRocks中一张表的列可以分为维度列也称为 Key 列和指标列也称为 Value 列。维度列用于分组和排序指标列的值可以通过聚合函数sumcountminmaxbitmap_union等累加起来。 在StarRocks中表数据按列存储。物理上一列数据会经过分块编码data page默认是64kb、压缩等操作然后持久化存储到非易失设备上。但在逻辑上一列数据可以看成是由相同类型的元素构成的一个数组。 一行数据的所有列值在各自的数组中按照列顺序排列即拥有相同的数组下标。表中所有的行按照维度列做多重排序排序后的位置就是该行的行号。
4.2 索引 索引是一种特殊的数据结构相当于数据的目录。查询条件命中索引列时StarRocks 能够快速定位到满足条件的数据的位置。 StarRocks 提供内置索引包括前缀索引、Ordinal 索引和 ZoneMap 索引。也支持用户手动创建索引以提高查询效率包括 Bitmap 和 Bloom Filter 索引。 4.2.1 前缀索引 由于StarRocks 底层数据是按照排序键排序后存储的而前缀索引是在key (duplicate key、aggregate key、unique key、primary key)排序的基础上实现的一种根据给定一定数量不超过3列不超过36个字节遇到字符串会自动截断前缀列每间隔一定行数1024生成的一个索引项 稀疏索引。当查询的过滤条件命中前缀索引时就能快速定位到数据存储所在的比较精确地址。 4.2.2 Ordinal 索引 Ordinal lndex索引提供了通过行号来查找Column Data Page数据页的物理地址Ordinal lndex索引能够将按照列存储的数据按行对齐可以理解为一级索引。因此其他类型的索引在查找数据的时候都要借助Ordinal lndex一级索引查找 Data Page数据页物理地址。 在一个segment文件中数据始终按照key排序存储数据写入的过程中每一列的data page会由Ordinal Index管理他会记录每一列对应的data page的offsetsize大小和该data page的第一个数据的行号信息。这样在查询的时候就能通过 Ordinal lndex索引够快速定位到对应的data page的物理地址。 4.2.3 ZoneMap 索引 StarRocks 会为Segment文件中的一列数据key 列自动添加ZoneMap索引注意当表的模型为dupulcate时会所有字段开启zonemap索引。 ZoneMap索引存储了Segment和每个列对应每个Page的统计信息。Doris可以根据这些统计信息快速判断这些数据块是否可以过滤掉从而减少扫描数据量提升查询速度。统计信息包括了Min最大值、Max最小值、HashNull空值、HasNotNull不全为空的信息。 4.2.4 BitMap 索引 StarRocks 支持对低基数列创建Bitmap位图索引来加速数据查询。高基数列例如UserID低基数列例如性别婚姻状态等。 Bitmap位图索引创建时需要通过 create index 进行创建。Bitmap的索引是整个Segment中的Column字段的索引而不是为每个Page单独生成一份。在写入数据时会维护一个map结构去记录下每个key值对应的行号并采用Roaring位图对rowid进行编码。生成索引数据时首先写入字典数据即将map结构的key值写入到DictColumn中。然后key对应Roaring编码的rowidvalue值以字节方式将数据写入到BitMapColumn。 4.2.5 BloomFilter 索引 StarRocks 支持用户对适用于高基数列取值区分度比较大的字段添加Bloom Filter布隆过滤器索引Bloom filter索引主要用于快速判断某列中是否存在某个值。BloomFilter判定该列中不存在指定的值如果确定不存在就不会读取这个数据文件如果索引判定该列中存在指定的值也有可能这个值实际上不会存在这时会读取数据文件来进一步确认。 ps高基数列:例如UserID低基数列:例如性别婚姻状态等。 ps这几类索引的详细内容见文章
Doris存储层设计介绍1——存储结构设计解析索引底层结构-CSDN博客文章浏览阅读1.1k次点赞33次收藏19次。Doris存储层设计介绍1——存储结构设计解析索引底层结构https://blog.csdn.net/SHWAITME/article/details/136155008?spm1001.2014.3001.5501
五、物化视图 该补充 参考文章
表概览 | StarRocks
理解 StarRocks 表设计 | StarRocks
理解 StarRocks 表设计 | StarRocks
第2.1章StarRocks表设计--概述_starrocks array-CSDN博客
