做任务的电脑网站,wordpress 固定链接结构出错,网站设计流程详细步骤,网站开发的工作经验两种用于优化查询性能的数据组织策略#xff0c;数仓设计的关键概念#xff0c;可提升Hive在读取大量数据时的性能。
1 分区#xff08;Partitioning#xff09;
根据表的某列的值来组织数据。每个分区对应一个特定值#xff0c;并映射到HDFS的不同目录。
常用于经常查…两种用于优化查询性能的数据组织策略数仓设计的关键概念可提升Hive在读取大量数据时的性能。
1 分区Partitioning
根据表的某列的值来组织数据。每个分区对应一个特定值并映射到HDFS的不同目录。
常用于经常查询的列如日期、区域等。这样可以在查询时仅扫描相关的分区而不是整个数据集从而减少查询所需要处理的数据量提高查询效率。
物理上将数据按照指定的列分区键值分散存放于不同的目录中每个分区都作为表的一个子目录。
创建分区表
CREATE TABLE orders (order_id INT,order_date DATE,order_customer INT,order_total FLOAT
)
PARTITIONED BY (country STRING);
基于country列创建分区将使得每个国家的订单数据存储在不同的目录中。
2 分桶Bucketing
使用哈希函数将数据行分配到固定数量的存储桶即文件中。这在表内部进一步组织数据。
对提高具有大量重复值的列如用户ID上JOIN操作的效率特别有用因为它可以更有效地处理数据倾斜要求在创建表时指定分桶的列和分桶的数目
创建分桶表
CREATE TABLE user_activities (user_id INT,activity_date DATE,page_views INT
)
CLUSTERED BY (user_id) INTO 256 BUCKETS;
user_id是用于分桶的列数据会根据用户ID的哈希值分配到256个存储桶中。
3 对比
分区是基于列的值将数据分散到不同的HDFS目录分桶则基于哈希值将数据均匀地分散到固定数量的文件中。分区通常用于减少扫描数据的量特别适用于有高度选择性查询的场景而分桶有助于优化数据的读写性能特别是JOIN操作。分区可以动态添加新的分区只需要导入具有新分区键值的数据分桶的数量则在创建表时定义且不能更改。
使用分区时要注意避免过多分区会导致元数据膨胀合理选择分区键确保分布均匀而分桶则通常针对具有高度重复值的列。两者结合使用时可以进一步优化表的读写性能和查询效率。
关注我紧跟本系列专栏文章咱们下篇再续 作者简介魔都技术专家兼架构多家大厂后端一线研发经验各大技术社区头部专家博主。具有丰富的引领团队经验深厚业务架构和解决方案的积累。 负责 中央/分销预订系统性能优化 活动优惠券等营销中台建设 交易平台及数据中台等架构和开发设计 目前主攻降低软件复杂性设计、构建高可用系统方向。 参考
编程严选网 本文由博客一文多发平台 OpenWrite 发布
