如何给网站做优化代码,企业如何制定网络营销策略,广东网站开发项目,徐州网站建设哪家好薇阿里云分析型数据库重磅推出基础版#xff0c;极大降低了用户构建数据仓库门槛。高度兼容MySQL#xff0c;极低的使用成本和极高的性能#xff0c;使中小企业也可以轻松的搭建一套实时数据仓库#xff0c;实现企业数据价值在线化。
AnalyticDB for MySQL的产品系列包括基础…阿里云分析型数据库重磅推出基础版极大降低了用户构建数据仓库门槛。高度兼容MySQL极低的使用成本和极高的性能使中小企业也可以轻松的搭建一套实时数据仓库实现企业数据价值在线化。
AnalyticDB for MySQL的产品系列包括基础版单机版和集群版基础版为单个节点提供服务极简的架构大大的降低了基础版的成本。存储计算分离架构、行列混存技术、轻量的索引构建方式和分布式混合计算引擎又保证了基础版强大的分析性能。年成本不到一万就可以构建一套实时数据仓库无需成立专门的大数据团队为企业节省百万成本。
1.基础版技术架构
如下为基础版架构图整体由Coordinator和Worker组成各自的职责如下介绍。 1.1 Coordinator: 前端控制节点职责包括
1MySQL协议层接入SQL解析
2认证和鉴权提供了更完善和细化的权限体系模型白名单和集群级别RAM控制并审计与合规记录所有SQL操作。
3集群管理成员管理、元数据、数据一致性、路由同步、备份与恢复数据与log管理)
4后台异步任务管理
5事务管理
6优化器执行计划生成
7计算调度负责执行任务调度
1.2 Worker: 存储和计算节点包含
1计算模块
分布式MPPDAG混合计算引擎和优化器达到了更高的复杂计算能力和混合负载管理能力。利用阿里云计算平台之上资源灵活调度上的优势实现了计算资源的弹性调度。计算 Worker节点可以单独拉起因应业务需求做到分钟级甚至秒级扩展实现资源的最有效利用。
2存储模块
存储模块更加轻量化具备了承载更大吞吐数据实时写入和读取能力写入性能比之前版本同等规格高50%倍左右毫秒级可见满足客户实时分析需求。
存储节点提供全量和增量备份和恢复能力云盘的定期快照和日志会实时同步到OSS中保存对用户数据提供更高的安全保障帮助用户在数据库发生问题时最大限度的找回。
3Worker Group
带存储模块的Worker节点被划分为一个个节点组Worker Group集群版提供三副本的存储通过Raft分布式一致性协议像一个整体一样工作允许其中一些Worker节点出现故障也能继续提供服务基础版只有单副本提供服务。
2.基础版优化器
优化器负责对Parser生成的语法树进行处理通过优化算法生成代价最优的计划提供给计算引擎。计划代价直接影响查询性能因此优化器是数据库中最核心的模块之一。基础版采用了与集群版一样强大的优化器包含基于规则、基于代价、和基于模式的多种复合优化技术。 复杂分析型查询经常包含多表join表的join顺序直接影响查询性能。AnalyticDB优化器采用了基于代价估算和实时采样信息的join order优化算法能够感知底层存储的数据分布。优化器利用AnalyticDB全索引特征提高了过滤因子filter factor估算的准确性。针对复杂join优化器基于数据分布信息动态调整join order同时评估数据reshuffling的代价来从全局代价的维度选择最优的执行计划。
AnalyticDB优化器在经典基于规则优化器Rule-Based Optimizer的基础上增加了代价估算和迭代优化并且集成了Cascades CBOCost-Based Optimizer优化框架。CBO搜索框架会调用 Property Enforcement模块生成分布式执行计划然后调用代价估算模块给每一种候选计划评估代价选择最优的分布式执行计划。为了进一步提高join order的优化效果和效率AnalyticDB优化器还采用了基于历史信息的优化技术History-Based Optimizer、基于常见SQL模式的动态优化技术Pattern-Based Optimizer以及数据驱动的智能技术例如Auto Analyze模块自动搜集统计信息为优化器搜索最佳计划提供准确的数据支持。
此外AnalyticDB优化器还针对复杂查询中经常出现的组合过滤条件、聚合算子、关联子查询等进行了一系列优化处理以提升性能。比如下推优化技术将计划中的过滤条件和聚合算子尽量推到整个链路的底层模块去执行不但提高底层算子的效率也减少了上游算子要处理的数据量提高整体查询性能。针对关联子查询语句优化器通过关系代数转化将关联子查询改写为语义等价的非关联计划使得计算引擎可以高效流水线处理。
3.基础版计算引擎 AnalyticDB计算引擎采用大规模并行处理MPPDAG体系结构和基于内存的pipeline执行模式具有高并发、低延迟的特点。为了加快对复杂表达式的求值速度优化执行性能计算引擎通过Runtime Codegen在运行时生成JVM bytecode动态加载生成对象的实例减少了执行过程中虚函数调用提高了CPU-Intensive任务的效率。计算引擎还采用向量化执行模型处理表达式求值利用CPU SIMD指令集来加速求值计算。
4.基础版存储引擎 AnalyticDB存储引擎采用行列混合存储的设计。如图所示。对于一张表的每k行数据(Row Group)每列数据连续的存放在单独的Data Block中每行组的列Block的在磁盘上连续存放。行组内列Block的数据可按指定列排序存放可以在按该列查询时显著减少磁盘随机IO次数。这种设计的独特优势是兼具了行存适合OLTP点查询和列存适合OLAP多维分析的长处很好的满足了不同类型workload的需求
针对OLTP类型的点查询需要select出一整行的明细数据行列混存设计下将列存的完全随机读转化为了顺序读针对OLAP类型的多维分析不仅解决了海量数据统计分析下行存的读放大问题而且进行单列IO时将列存的顺序读转化为了顺序跳读进行多列IO时则将随机读转化为了顺序读写入大吞吐列存时的随机写被转化为了顺序写
AnalyticDB存储引擎采用智能全索引对每列数据建立一个值到行号的倒排索引。查询时将SQL多个条件表达式的AND、OR 转换成Boolean Query同时走索引通过搜索得到满足where条件的结果集行号支持快速多路合并能够在毫秒级别找出满足条件的结果集。
5.基础版优势
基础版大幅度降低了用户构建数据仓库门槛与大数据HadoopSpark和EMR和OLTP建仓方式相比都有超高的性价比。
1降低使用门槛
基础版最低1.75元/小时860元/月与集群版相比起步价降低了约三分之一。磁盘空间仅0.6元/GB磁盘空间上限最大为4T可以随时按需扩展大大降低中小企业复杂分析和构建实时数仓的使用门槛。
2性能高
同等配置下其数据查询性能约为MySQL的10倍很好地帮助用户解决MySQL复杂分析慢的痛点。
3规格丰富
基础版支持四种规格T8、T16、T32和T52可以根据业务的不同要求选择规格和任意调整规格。
4生态透明
上下游生态完全兼容集群版对用户透明。
6.适合客户
特别适合以下人群
1Hadoop/Spark等太复杂想快速实现数据化转型的中小型企业
2报表数据库查询慢有交互式BI分析诉求的中小型企业
3需要快速构建测试环境的进行数仓选型的用户
4学习类人群可快速了解AnalyticDB for MySQL的用户
了解更多
观看直播https://yq.aliyun.com/live/2527 产品详情https://promotion.aliyun.com/ntms/act/adbformysqljichuban.html
原文链接 本文为云栖社区原创内容未经允许不得转载。
