公司网站建设手续,wordpress 去谷歌,wordpress动漫博客主题免费下载,企业网站建设中企动力摘要#xff1a; 回顾大数据技术领域大事件#xff0c;最早可追溯到06年Hadoop的正式启动#xff0c;而环顾四下#xff0c;围绕着数据库及数据处理引擎#xff0c;业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上#xff0c;阿里云大数据计…摘要 回顾大数据技术领域大事件最早可追溯到06年Hadoop的正式启动而环顾四下围绕着数据库及数据处理引擎业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上阿里云大数据计算平台架构师林伟做了题为《MaxCompute的大脑基于代价的优化器》的分享为大家分享阿里巴巴大数据计算服务的大脑——基于代价的优化器的设计和架构。
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data此外通过Maxcompute及其配套产品低廉的大数据分析仅需几步详情访问https://www.aliyun.com/product/odps。
摘要回顾大数据技术领域大事件最早可追溯到06年Hadoop的正式启动而环顾四下围绕着数据库及数据处理引擎业内充斥着各种各样的大数据技术。这是个技术人的好时代仅数据库领域热门DB就有300围绕着Hadoop生态圈的大数据处理技术更是繁花似锦。在云栖社区2017在线技术峰会大数据技术峰会上阿里云大数据计算平台架构师林伟做了题为《MaxCompute的大脑基于代价的优化器》的分享为大家分享阿里巴巴大数据计算服务的大脑——基于代价的优化器的设计和架构。
MaxCompute简介
大数据计算服务(MaxCompute)是一种快速、完全托管的PB/EB级数据仓库解决方案MaxCompute具备万台服务器扩展能力和跨地域容灾能力是阿里巴巴内部核心大数据平台承担了集团内部绝大多数的计算任务支撑每日百万级作业规模。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型能够更快速的解决用户海量数据计算问题有效降低企业成本并保障数据安全。
MaxCompute架构MaxCompute基本的体系结构如上图所示最底层就是在物理机器之上打造的提供统一存储的盘古分布式文件存储系统在盘古之上一层就是伏羲分布式调度系统这一层将包括CPU、内存、网络以及磁盘等在内的所有计算资源管理起来再上一层就是统一的执行引擎也就是MaxCompute执行引擎而在执行引擎之上会打造各种各样的运算模式比如流计算、图计算、离线处理、内存计算以及机器学习等等在这之上还会有一层相关的编程语言也就是MaxCompute语言在语言上面希望为各应用方能够提供一个很好的平台让数据工程师能够通过平台开发相关的应用并使得应用能够快速地在分布式场景里面得到部署运行。
MaxCompute的研发思路MaxCompute的研发思路主要分为以下四个方面
高性能、低成本和大规模。希望打造的MaxCompute平台能够提运算的高性能尽可能降低用户的使用成本并且在规模上面能够达到万台机器以及多集群的规模。
稳定性服务化。希望MaxCompute平台能够提供稳定性和服务化的方式使得用户不用过多地考虑分布式应用的难度而只需要注重于用户需要进行什么样的计算让系统本身服务于用户并能够提供稳定性服务化的接口。
易用性服务于数据开发者。希望MaxCompute平台是易用的并且能够很方便地服务于数据开发工程师不需要数据工程师对于分布式的场景进行很深的理解而只要关注于需要用这些数据进行什么样的运算就可以接下来就是由MaxCompute平台帮助数据开发工程师高效并且低成本地执行自己的想法。
多功能。希望MaxCompute能够具有更多的功能不仅仅是支持流计算、图计算、批处理和机器学习等而希望更多种类的计算能够在MaxCompute平台上得到更好的支持。
MaxCompute的大脑——优化器
基于以上的研发思路MaxCompute平台需要拥有一个更加强大的大脑这个大脑需要更加理解用户的数据更加理解用户的计算并且更加理解用户本身MaxCompute的大脑需要能够帮助用户更加高效地优化运算通过系统层面去理解用户到底需要进行什么样的运算从而达到之前提到的各种目的使得用户能够从分布式场景中脱离出来不必去考虑如何才能使得运算高效地执行而将这部分工作交给MaxCompute的大脑让它来为用户提供更智能的平台这也就是MaxCompute所能够为用户带来的价值。那么MaxCompute的大脑究竟是什么呢其实就是优化器。优化器能够将所有信息串联在一起通过理解系统中数据的相关性以及用户的企图并通过机器的能力去充分地分析各种各样的环境在分布式场景中以最高效的方式实现对于用户运算的执行。在本次分享中以离线计算作为主要例子来对于MaxCompute的大脑——优化器进行介绍。首先对于离线计算的概念进行简单介绍MaxCompute离线计算架构设计如上图所示。在计算层面往往会存在一个类似高级语言的脚本语言MaxCompute提供的是类SQL的脚本语言将脚本语言通过FrontEnd提交进来之后经过处理转化成为逻辑执行计划逻辑执行计划在Optimizer优化器的指导下翻译成更加高效的物理执行计划并通过与Runtime的连接之后由伏羲分布式调度系统将物理执行计划分解到运算节点上进行运算。
上述过程的核心就在于如何充分地理解用户的核心计划并通过优化得到高效的物理执行计划这样的过程就叫做优化器Optimizer。目前开源社区内的Hive以及Spark的一些优化器基本上都是基于规则的优化器其实对于优化器而言单机系统上就存在这样的分类分成了基于规则的优化器和基于代价的优化器。在单机场景里面Oracle 6-9i中使用的是基于规则的优化器在Oracle 8开始有了基于代价的优化器而Oracle 10g则完全取代了之前基于规则的优化器而在大数据场景里面像Hive最开始只有基于规则的优化器而新版的Hive也开始引入了基于代价的优化器但是Hive中还并不是正真意义上的代价优化器。而MaxCompute则使用了完全的基于代价的优化器。那么这两种优化器有什么区别呢其实基于规则的优化器理论上会根据逻辑模式的识别进行规则的转换也就是识别出一个模式就可能触发一个规则将执行计划从A改成B但是这种方式对数据不敏感并且优化是局部贪婪的就像爬山的人只看眼前10米的范围内哪里是向上的而不考虑应该先向下走才能走到更高的山顶所以基于规则的优化器容易陷入局部优但是全局差的场景容易受应用规则的顺序而生产迥异的执行计划所以往往结果并不是最优的。而基于代价的优化器是通过Volcano火山模型尝试各种可能等价的执行计划然后根据数据的统计信息计算这些等价执行计划的“代价”最后从中选用代价Cost最低的执行计划这样可以达到全局的最优性。这里分享一个具体的例子帮助大家理解为什么基于规则的优化器无法实现全局的最优化。上图中的这段脚本的意思就是先在A、B和C上面做完joinjoin出来的结果在某一列上面进行group by操作并计算出平均值。可以将上述的查询过程画成树形的逻辑执行计划在数据库领域往往是bottom-up的也就是对于逻辑计划树而言叶子节点是输入最终的目标输出则是根节点所以最终的数据流向是从下向上的。可以看到在这个逻辑计划里面首先是对于A、B、C三个表进行join假设Size(B)
