网站开发即时聊天源码,网站建设和管理什么意思,网站建设 市场规模,wap网站怎么做摘要#xff1a; 今年双11是X-DB的第一次大考#xff0c;本次双11X-DB服务于天猫/淘宝核心交易系统、核心物流系统、核心IM系统#xff0c;经受了零点业务32.5万笔/秒峰值的性能考验,同时X-DB支撑起了新一代单元化架构.
作者#xff1a;章颖强#xff08;江疑#xff09;…摘要 今年双11是X-DB的第一次大考本次双11X-DB服务于天猫/淘宝核心交易系统、核心物流系统、核心IM系统经受了零点业务32.5万笔/秒峰值的性能考验,同时X-DB支撑起了新一代单元化架构.
作者章颖强江疑、胡炜
X-DB 1.0(X-Cluster)是阿里自主研发的100%兼容MySQL生态的全球级分布式强一致的关系型数据库系统。今年双11是X-DB的第一次大考本次双11X-DB服务于天猫/淘宝核心交易系统、核心物流系统、核心IM系统经受了零点业务32.5万笔/秒峰值的性能考验对应数据库峰值每秒破亿次的SQL调用同时X-DB支撑起了新一代单元化架构在分布式一致性算法Paxos的统一框架下第一次提供了跨Region分布式强一致能力实现高效的跨Region数据同步、跨Region容灾保证金融级的数据质量服务。
X-DB为了降低用户的迁移和学习成本选择了兼容成熟的MySQL生态并且做到了真正100%兼容MySQL生态为业务为传统数据库赋能。基于MySQL的业务可以无缝从MySQL迁移到X-DB上来不需要任何评估和兼容测试完全零成本迁移。基于MySQL的周边工具平台甚至是MySQL DBA都可以非常平滑的转移到X-DB上来。阿里内部从今年6月初第一个业务应用灰度切流到目前为止5个月的时间里X-DB已覆盖了阿里集团及多个关联公司旗下的多个事业群为海量的线上业务提供服务整个过程绝大部分业务都是无感知的。
X-DB拥有真正的跨Region/跨国的数据强一致能力并已得到实践的检验。双11前夕核心物流系统、核心IM系统首次完成了中心Region所有数据库不可用的“中心城市容灾演练”验证业务拥有在整个中心Region均不可用情况下X-DB和应用仍可以正常提供服务的能力并保证数据零丢失。
X-DB的核心优势和技术解析 X-DB是阿里自研的全球级分布式关系型数据库。现在业界各种类型的分布式数据库不断涌现互联网巨头、传统数据库厂商、数据库创业公司都在不断跟进。那么X-DB到底有什么优势能战胜这些竞品快速获得业务价值呢
X-DB生态100%兼容MySQL 新一代分布式关系型数据库是对传统关系型数据库的传承和革新。分布式数据库虽然在高可能、强一致、高性能、低成本、高伸缩等多个方面作出了划时代的变革但其依旧传承了传统数据库强大的SQL接口系统管理能力。NoSQL的衰弱和NewSQL的兴起恰恰证明了这一点。一个新的分布式数据库如果没有传承自建一个新的生态将会极大的提高用户的学习和使用成本整个工具和支持配套也将面临很大的困难。
因此X-DB作为一个新一代分布式关系型数据库设计之初就选了业界相对开放和成熟的MySQL开源生态作为自己的基础。这样不单可以让MySQL生态中的用户零成本的切换到X-DB中快速赋予业务分布式数据库所带来的多种能力同时可以让MySQL生态中的各种周边工具和DBA等生态的参与者平滑的切换到分布式时代赋予其支撑分布式数据库的能力。
事实证明X-DB选择的这条路是正确的。在阿里集团及生态下的子公司内部X-DB在短短的几个月内、在非常少的人力参与下迅速的完成了对大量传统MySQL/AliSQL集群的换代升级使得阿里数据库整体进入了分布式时代整个过程业务几乎零参与。同时X-DB对MySQL生态下的运维系统/工具、知识体系也实现了兼容整个MySQL时代的支撑平台支撑人员都可以平滑的过度到分布式数据库时代拥有了支撑下一代数据库的能力这个是非常难得的。
跨Region/全球强同步能力 业界支持分布式强一致的数据库很多但是其强一致都是有范围的有些支持AZ内强一致有些支持跨AZ强一致真正能做到跨Region/跨国强一致的却是凤毛麟角。目前业界主流数据库中只有Spanner宣称自己是Global Distribution包括Amazon Aurora在内的其他主流数据库目前都不支持跨Region的强一致。X-DB是真正做到了跨Region/跨国强一致的分布式数据库并且在业务上得到了验证。今年音视频服务全站迁移X-DB同时X-DB支撑了音视频服务国际化等多个国际化项目实现跨国部署。包括核心交易系统、核心物流系统、核心IM系统在内的大量业务集群以跨Region强同步模式部署使得业务拥有了城市级容灾情况下数据零丢失服务秒级恢复的能力。核心物流系统、核心IM系统在双11前夕分别进行了中心Region全不可用的容灾演练X-DB在15秒内自动完成跨Region的重新激活数据零丢失这在整个行业都是先行者。
技术解析X-Paxos——高性能Paxos独立库 Paxos是一种分布式一致性算法其最基础也是最重要的功能是保证分布式系统中多个节点的数据日志的强一致它是分布式系统的基石。虽然Paxos算法被图灵奖获得者Leslie Lamport首次提出到现在已经19年了离第一个工业实现Chubby也已经11年了但是近几年顶级会议/业内文章中Paxos的优化和讨论还是非常的多而且到目前为止真正工业级的、高性能的、高可扩展的Paxos算法库还是非常的少见。
X-Paoxs是阿里独立设计/研发的真正工业级的Paxos独立库其在性能上好于业界对手1、2个数量级以上同时其强大的扩展性和完善的生态系统都是竞品所没有的X-Paxos为分布式高性能数据库X-DB奠定了坚实的基础。
X-Paxos从基础架构到网络模型再到算法本身都有大量的创新
基于SEDA架构的异步并发调度框架 由于Paxos的内部状态复杂实现高效的单实例多线程的Paxos变成一个非常大的挑战。大部分竞品例如Oracle/MySQL的Group Replication等针对单个Paxos对象都是单线程实现。X-Paxos实现了一整套高效的异步并发调度框架并基于SEDAStaged Event-Driven Architecture思想对整个Paxos协议进行了并发切分和实现采用了大量无锁设计由异步并发调度框架进行调度和执行充分利用多核资源实现高性能。 基于Batching Pipelining的网络优化 跨Region/跨国场景下对X-Paxos来说最大的挑战就是如何在高延迟网络下保持高吞吐和相对低延迟X-Paxos针对高延迟网络做了大量的协议优化尝试和测试并结合学术界现有的理论成果通过合理的Batching和Pipelining设计并实现了一整套自适应的针对高延迟高吞吐和低延迟高吞吐网络的通信模式极大的提升了X-Paxos的性能。类似的优化大部分还在理论阶段在同类竞品中还非常的罕见。
Jepsen/TLA的分布式原理/实现验证 《Paxos made live》中有过一个说法证明一个Paxos实现是正确的比实现这个Paxos本身会更难。因此我们在设计和实现X-Paxos的时候投入了大量的精力在Paxos的原理证明了实现验证上。我们用TLA对X-Paxos进行建模验证其理论正确性。我们将Jepsen对X-Paxos/X-DB进行适配同时增加了大量的验证Case和注入错误7X24小时运行验证其实现正确性。 强一致下的高性能 业界习惯性的认为强一致一定会带来性能的下降开强MP的Oracle在Semi-Sync的MySQLMySQL Group Replication甚至于跨Region部署以后的Spanner会面临大幅度的性能下降的问题。
今年双11 X-DB在核心交易系统、核心物流系统等交易核心链路上100%切流经历了多轮全链路压测和双11零点业务32.5万笔/秒数据库SQL上亿次/秒的峰值的性能考验证明了X-DB完全有能力实现强一致和高性能的鱼熊兼得。
X-DB从Paxos协议的实现到X-Paxos和AliSQL的日志结合再到AliSQL本身的提交逻辑锁策略都做了大量的优化。保证X-DB无论是在多机房部署还是多Region部署下都能保证性能和单节点模式非强一致下无大幅度劣化。特别是在跨Region部署时和其他分布式数据库相比优势尤为明显。这也是业务能够接受X-DB跨Region部署的主要原因。
X-DB是AliSQL和X-Paxos的紧密结合而产生的。高性能的X-Paxos为不单为X-DB带来了高可用和强一致的能力同时为X-DB的在强一致下的高可用奠定了坚实的基础。除此以外我们在AliSQL和X-Paxos的结合上也做了大量的优化例如一体化日志设计和异步事务提交。
技术解析一体化日志设计 X-DB的Consensus日志采用了单一事务日志的方案区别于MySQL的binlog和relay_log两份日志单一事务日志格式MySQL binlog的事务日志格式。这份日志被用于集群节点间数据的同步以及下游应用的消费。
一体化日志设计带来的好处是显而易见的首先是日志量的减少。MySQL接收到主库的网络消息后会先本地落一份relay_log日志在消费后再产生一份binlog日志。虽然relay_log会很快被回收但是日志的写入量是实实在在的两份。反观X-DB在统一了日志后同一个事务在一个实例节点上只需要记录一份日志。其次统一日志能够让日志真正按照产生的先后续做到逻辑和物理上的一致这对于日志的检索效率来说是大有裨益的。首先是顺序扫描日志的时候可以做到物理IO上的顺序性其次Paxos算法的运转对于日志的检索和获取都有较高的要求如果检索一份日志需要先后扫描两份日志跳转来判断比较那对于效率来说是非常低下的。
技术解析异步事务提交 在数据库中服务端的线程池是非常有效降低线程上下文切换开销提升系统吞吐的技术。但是在跨城/跨国环境下巨大的网络延迟使得线程池本身会成为一种瓶颈。例如X-DB集群的节点分布在网络RTT达到几十毫秒级别的两个Region中那么在实际的运行中会发现线程池中绝大部份线程都在等待日志跨Region同步回包而客户端的请求就没有足够的线程去处理了这其实造成了服务器资源的严重浪费。
重新回到非线程池的状态不是一个明智之举既要低上下文开销又要有高资源利用率。我们采取的解决方案是将事务处理中可能最为费时的等待事务日志回报做成异步化。 这样就把一个完整的事务流程拆成了处理请求-等待同步-事务提交的三个步骤 三个步骤可以分别由线程池的不同线程来完成。每个步骤X-DB可以精确控制并发量例如可以用最少的线程数量来处理事务等待日志同步的工作用大量的线程来处理事务提交等等。在异步化改造后只要用户的并发请求量足够多系统吞吐量上可以有明显的提高。丰富灵活的部署模式 针对电商双11这种不同时期不同需求的业务模型X-DB提供了非常丰富并且灵活的部署模式例如核心交易系统、核心物流系统在今年双11前夕将部署模式从跨城强同步模式一键切换回同城强同步模式并动态调整拓扑在保证机房级强一致的前提下有效的降低了RT提升了吞吐。
集团内外不同的业务对数据库的部署需求各不相同为了更广泛的支持不同的业务X-DB支持的部署模式非常的灵活。业务可以根据自己的容灾和业务需求在不同的部署范围内同城多机房/国内多Region/跨国等选择任意数量、任意角色的节点进行部署节点的部署和角色同样可以在线修改以适应业务的不同时期的不同需求例如双11。这样说有点抽象这里举2个实际的案例
案例同城跨机房模式 上图是一个经典的同城跨机房强同步方案满足以下需求
机房级容灾数据零丢失10秒级容灾切换 相对于主备方案零成本增加2数据副本1日志副本日志副本资源需求可忽略 RPO 1S通过X-Paxos SDK持续备份 当然业务可以在这个模式的基础上做多种扩展例如增加只读无选举权的learner节点增加有选举权的follower节点等来提升容灾等级和读能力。 案例跨城单元化模式 上图是一个经典的跨城强同步方案满足以下需求
真正的跨城强一致能力任意城市整体不可用不影响集群可用性零数据丢失 高性能在跨城强同步下依然保持高性能 灵活的切换策略可分别设置同城节点跨城节点切换优先级 高伸缩能力可任意增加/删除/动态修改任意Region的数量和角色 目前核心交易系统、核心物流系统、核心IM系统等核心集群均采用类似部署方案保证跨城容灾能力。 更重要的是X-DB支持动态切换部署模式例如核心交易系统、核心物流系统等集群在双11期间一键动态将跨城模式切换到同城模式在保持机房级容灾能力的前提下获得更高的性能音视频服务通过在海外Region动态扩展一个Leaner角色的节点实现国际化。技术解析Paxos框架下的角色定制和动态变更 在分布式数据库中经典的Paxos用法是将Paxos作为一个整体来解决高可用和强一致问题。然而Paxos算法不单单能解决高可用强一致问题。在X-Paxos中我们对Paxos算法进行了扩展将Paxos算法中节点的三个角色Proposer/Accepter/Learner进行了剥离和重组形成了多种不同角色的节点这些节点组合后可以形成多种适合不同业务的部署模式同时X-Paxos设计了一整套动态Configure Change算法支持所有部署模式之间的动态切换对业务非常友好。X-DB的演进 X-DB 1.0是整个X-DB的计划的一部分整个X-DB计划将按照三步进行
X-DB 1.0(X-Cluster): 集成X-Paxos实现金融级分布式强一致能力、一体化的架构设计以及统一的生态环境。 X-DB 2.0: 基于自研高性能低成本存储引擎X-Engine与分布式存储结合打造的计算与存储分离架构能独立扩展计算和存储的能力为业务在不同场景的负载下提供灵活的伸缩能力。同时得益于全新设计的存储引擎能够提供其他同类产品难以匹敌的性能。 X-DB 3.0: 新一代分布式关系型数据库同时支持了数据自动分片负载均衡多点可读可写跨域强同步AZ内快速扩充计算节点的计算存储分离架构应用了一系列技术为充分发挥硬件性能的软硬件结合技术以及根据数据冷热特点的分层混合存储技术无论上是在扩展性和高可用性还是成本和性能上都做到极致是X-DB计划数据库系统演进的最终形态。
