贵州飞乐云毕节网站建设,上海浦东新区,wordpress 社交模板,wordpress 插件检测一、基础概念
ClickHouse是俄罗斯Yandex在2016年开源#xff0c;使用C编写的列式存储数据库#xff0c;近几年在OLAP领域大范围应用。国内#xff1a;阿里、字节、腾讯 、虎牙、青云、新浪等在使用#xff1b;国外#xff1a;优步、Ebay、Spotify、思科等在使用.
官网使用C编写的列式存储数据库近几年在OLAP领域大范围应用。国内阿里、字节、腾讯 、虎牙、青云、新浪等在使用国外优步、Ebay、Spotify、思科等在使用.
官网Fast Open-Source OLAP DBMS - ClickHouseGitHub: https://github.com/ClickHouse/ClickHouse
二、特点和应用场景 不依赖Hadoop 生态、安装和维护简单擅长对列的聚合、计数等统计操作性能强劲对列存储和压缩的采用更好的算法更好节省成本拓展性强在生产中经过实战测试从单服务器部署到具有数千个节点的集群的线性水平可扩展性具有企业级安全功能和故障安全机制可防止数据因应用程序错误和人为错误而损坏支持主流的大部分SQL语法和函数吞吐能力强官方测试支持支持多种存储引擎满足多数业务场景广泛应用互联网电商、在线教育、金融等领域用户行为数据记录和分析搭建数据可视化平台 三、海量数据OLTP/OLAP系统 OLTPOnLine Transaction Processing联机事务处理系统, 就是对数据的增删改查等操作 主要存储的是业务数据如下单、支付、注册典型代表有Mysql、 Oracle等数据库。这类操作事务进行操作对响应时间要求高数据是GB级别。-业务人员 OLAPOnLine Analytical Processing联机分析处理系统。存储的是历史数据如风控平台、BI平台、数据可视化系统等支持复杂的分析操作侧重决策典型代表有 Hive、ClickHouse基础数据来源于生产系统中的操作日志数据数据是TB级别。-分析决策人员 四、行存储与列存储的区别
行存储 传统的OLTP关系型数据库 都是行存储 一行中的数据在存储介质中以连续存储形式存在 适合随机的增删改查操作 或者 在行中选取所有属性的查询操作结合索引提升性能 缺点 查询的全部记录的某几个字段但由于这些字段在各行数据单元中而整个行特别大(字段特别多)程序必须不断读取每一条的行记录取对应的字段使得读取效率大大降低 列式存储 存储结构化数据时在底层的存储介质上数据是以列的方式来组织的。存储完若干条记录的首个字段后再存储这些记录的第二个字段然后再第三个字段、第四个字段...以此类推。查询时只有涉及到的列会被读取而不需要全表扫描可以显著减少IO消耗并降低查询响应时间。 小结 列存储在聚合、统计等操作性能会优于行存储。列存储将多行记录的列连续存储在一起一列接着一列。列式存储是同个数据类型会进行数据压缩率更高更省空间。列存储数据更新成本较高一般适合读多写少的场景适合 OLAP 分析型系统 未完待续...
