在家建设一个网站需要什么手续,用二级域名做网站,怎么用手机开发app,国外平面设计网站大全转载自 关于分布式事务、两阶段提交协议、三阶提交协议
随着大型网站的各种高并发访问、海量数据处理等场景越来越多#xff0c;如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。
为了解决这样一系列问题#xff0c;大型网站的架构也在不断发展。提高…转载自 关于分布式事务、两阶段提交协议、三阶提交协议
随着大型网站的各种高并发访问、海量数据处理等场景越来越多如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。
为了解决这样一系列问题大型网站的架构也在不断发展。提高大型网站的高可用架构不得不提的就是分布式。在《分布式系统的一致性探讨》一文中主要介绍了分布式系统中存在的一致性问题。本文将简单介绍如何有效的解决分布式的一致性问题其中包括什么是分布式事务二阶段提交和三阶段提交。
分布式一致性回顾
在分布式系统中为了保证数据的高可用通常我们会将数据保留多个副本(replica)这些副本会放置在不同的物理的机器上。为了对用户提供正确的增\删\改\差等语义我们需要保证这些放置在不同物理机器上的副本是一致的。
为了解决这种分布式一致性问题前人在性能和数据一致性的反反复复权衡过程中总结了许多典型的协议和算法。其中比较著名的有二阶提交协议Two Phase Commitment Protocol、三阶提交协议Two Phase Commitment Protocol和Paxos算法。
分布式事务 分布式事务是指会涉及到操作多个数据库的事务。其实就是将对同一库事务的概念扩大到了对多个库的事务。目的是为了保证分布式系统中的数据一致性。分布式事务处理的关键是必须有一种方法可以知道事务在任何地方所做的所有动作提交或回滚事务的决定必须产生统一的结果全部提交或全部回滚 在分布式系统中各个节点之间在物理上相互独立通过网络进行沟通和协调。由于存在事务机制可以保证每个独立节点上的数据操作可以满足ACID。但是相互独立的节点之间无法准确的知道其他节点中的事务执行情况。所以从理论上讲两台机器理论上无法达到一致的状态。如果想让分布式部署的多台机器中的数据保持一致性那么就要保证在所有节点的数据写操作要不全部都执行要么全部的都不执行。但是一台机器在执行本地事务的时候无法知道其他机器中的本地事务的执行结果。所以他也就不知道本次事务到底应该commit还是 roolback。所以常规的解决办法就是引入一个“协调者”的组件来统一调度所有分布式节点的执行。
XA规范
X/Open 组织即现在的 Open Group 定义了分布式事务处理模型。 X/Open DTP 模型 1994 包括应用程序 AP 、事务管理器 TM 、资源管理器 RM 、通信资源管理器 CRM 四部分。一般常见的事务管理器 TM 是交易中间件常见的资源管理器 RM 是数据库常见的通信资源管理器 CRM 是消息中间件。 通常把一个数据库内部的事务处理如对多个表的操作作为本地事务看待。数据库的事务处理对象是本地事务而分布式事务处理的对象是全局事务。 所谓全局事务是指分布式事务处理环境中多个数据库可能需要共同完成一个工作这个工作即是一个全局事务例如一个事务中可能更新几个不同的数据库。对数据库的操作发生在系统的各处但必须全部被提交或回滚。此时一个数据库对自己内部所做操作的提交不仅依赖本身操作是否成功还要依赖与全局事务相关的其它数据库的操作是否成功如果任一数据库的任一操作失败则参与此事务的所有数据库所做的所有操作都必须回滚。 一般情况下某一数据库无法知道其它数据库在做什么因此在一个 DTP 环境中交易中间件是必需的由它通知和协调相关数据库的提交或回滚。而一个数据库只将其自己所做的操作可恢复影射到全局事务中。 XA 就是 X/Open DTP 定义的交易中间件与数据库之间的接口规范即接口函数交易中间件用它来通知数据库事务的开始、结束以及提交、回滚等。 XA 接口函数由数据库厂商提供。 二阶提交协议和三阶提交协议就是根据这一思想衍生出来的。可以说二阶段提交其实就是实现XA分布式事务的关键(确切地说两阶段提交主要保证了分布式事务的原子性即所有结点要么全做要么全不做)
2PC 二阶段提交(Two-phaseCommit)是指在计算机网络以及数据库领域内为了使基于分布式系统架构下的所有节点在进行事务提交时保持一致性而设计的一种算法(Algorithm)。通常二阶段提交也被称为是一种协议(Protocol))。在分布式系统中每个节点虽然可以知晓自己的操作时成功或者失败却无法知道其他节点的操作的成功或失败。当一个事务跨越多个节点时为了保持事务的ACID特性需要引入一个作为协调者的组件来统一掌控所有节点(称作参与者)的操作结果并最终指示这些节点是否要把操作结果进行真正的提交(比如将更新后的数据写入磁盘等等)。因此二阶段提交的算法思路可以概括为参与者将操作成败通知协调者再由协调者根据所有参与者的反馈情报决定各参与者是否要提交操作还是中止操作。 所谓的两个阶段是指第一阶段准备阶段(投票阶段)和第二阶段提交阶段执行阶段。
准备阶段
事务协调者(事务管理器)给每个参与者(资源管理器)发送Prepare消息每个参与者要么直接返回失败(如权限验证失败)要么在本地执行事务写本地的redo和undo日志但不提交到达一种“万事俱备只欠东风”的状态。
可以进一步将准备阶段分为以下三个步骤 1协调者节点向所有参与者节点询问是否可以执行提交操作(vote)并开始等待各参与者节点的响应。 2参与者节点执行询问发起为止的所有事务操作并将Undo信息和Redo信息写入日志。注意若成功这里其实每个参与者已经执行了事务操作 3各参与者节点响应协调者节点发起的询问。如果参与者节点的事务操作实际执行成功则它返回一个”同意”消息如果参与者节点的事务操作实际执行失败则它返回一个”中止”消息。 提交阶段
如果协调者收到了参与者的失败消息或者超时直接给每个参与者发送回滚(Rollback)消息否则发送提交(Commit)消息参与者根据协调者的指令执行提交或者回滚操作释放所有事务处理过程中使用的锁资源。(注意:必须在最后阶段释放锁资源)
接下来分两种情况分别讨论提交阶段的过程。
当协调者节点从所有参与者节点获得的相应消息都为”同意”时: 1协调者节点向所有参与者节点发出”正式提交(commit)”的请求。 2参与者节点正式完成操作并释放在整个事务期间内占用的资源。 3参与者节点向协调者节点发送”完成”消息。 4协调者节点受到所有参与者节点反馈的”完成”消息后完成事务。 如果任一参与者节点在第一阶段返回的响应消息为”中止”或者 协调者节点在第一阶段的询问超时之前无法获取所有参与者节点的响应消息时 1协调者节点向所有参与者节点发出”回滚操作(rollback)”的请求。 2参与者节点利用之前写入的Undo信息执行回滚并释放在整个事务期间内占用的资源。 3参与者节点向协调者节点发送”回滚完成”消息。 4协调者节点受到所有参与者节点反馈的”回滚完成”消息后取消事务。 不管最后结果如何第二阶段都会结束当前事务。
二阶段提交看起来确实能够提供原子性的操作但是不幸的事二阶段提交还是有几个缺点的 1、同步阻塞问题。执行过程中所有参与节点都是事务阻塞型的。当参与者占有公共资源时其他第三方节点访问公共资源不得不处于阻塞状态。 2、单点故障。由于协调者的重要性一旦协调者发生故障。参与者会一直阻塞下去。尤其在第二阶段协调者发生故障那么所有的参与者还都处于锁定事务资源的状态中而无法继续完成事务操作。如果是协调者挂掉可以重新选举一个协调者但是无法解决因为协调者宕机导致的参与者处于阻塞状态的问题 3、数据不一致。在二阶段提交的阶段二中当协调者向参与者发送commit请求之后发生了局部网络异常或者在发送commit请求过程中协调者发生了故障这回导致只有一部分参与者接受到了commit请求。而在这部分参与者接到commit请求之后就会执行commit操作。但是其他部分未接到commit请求的机器则无法执行事务提交。于是整个分布式系统便出现了数据部一致性的现象。 4、二阶段无法解决的问题协调者再发出commit消息之后宕机而唯一接收到这条消息的参与者同时也宕机了。那么即使协调者通过选举协议产生了新的协调者这条事务的状态也是不确定的没人知道事务是否被已经提交。 由于二阶段提交存在着诸如同步阻塞、单点问题、脑裂等缺陷所以研究者们在二阶段提交的基础上做了改进提出了三阶段提交。
3PC 三阶段提交Three-phase commit也叫三阶段提交协议Three-phase commit protocol是二阶段提交2PC的改进版本。 与两阶段提交不同的是三阶段提交有两个改动点。
1、引入超时机制。同时在协调者和参与者中都引入超时机制。 2、在第一阶段和第二阶段中插入一个准备阶段。保证了在最后提交阶段之前各参与节点的状态是一致的。
也就是说除了引入超时机制之外3PC把2PC的准备阶段再次一分为二这样三阶段提交就有CanCommit、PreCommit、DoCommit三个阶段。
CanCommit阶段
3PC的CanCommit阶段其实和2PC的准备阶段很像。协调者向参与者发送commit请求参与者如果可以提交就返回Yes响应否则返回No响应。 1.事务询问 协调者向参与者发送CanCommit请求。询问是否可以执行事务提交操作。然后开始等待参与者的响应。 2.响应反馈 参与者接到CanCommit请求之后正常情况下如果其自身认为可以顺利执行事务则返回Yes响应并进入预备状态。否则反馈No PreCommit阶段
协调者根据参与者的反应情况来决定是否可以记性事务的PreCommit操作。根据响应情况有以下两种可能。
假如协调者从所有的参与者获得的反馈都是Yes响应那么就会执行事务的预执行。 1.发送预提交请求 协调者向参与者发送PreCommit请求并进入Prepared阶段。 2.事务预提交 参与者接收到PreCommit请求后会执行事务操作并将undo和redo信息记录到事务日志中。 3.响应反馈 如果参与者成功的执行了事务操作则返回ACK响应同时开始等待最终指令。 假如有任何一个参与者向协调者发送了No响应或者等待超时之后协调者都没有接到参与者的响应那么就执行事务的中断。 1.发送中断请求 协调者向所有参与者发送abort请求。 2.中断事务 参与者收到来自协调者的abort请求之后或超时之后仍未收到协调者的请求执行事务的中断。 doCommit阶段
该阶段进行真正的事务提交也可以分为以下两种情况。
执行提交 1.发送提交请求 协调接收到参与者发送的ACK响应那么他将从预提交状态进入到提交状态。并向所有参与者发送doCommit请求。 2.事务提交 参与者接收到doCommit请求之后执行正式的事务提交。并在完成事务提交之后释放所有事务资源。 3.响应反馈 事务提交完之后向协调者发送Ack响应。 4.完成事务 协调者接收到所有参与者的ack响应之后完成事务。 中断事务 协调者没有接收到参与者发送的ACK响应可能是接受者发送的不是ACK响应也可能响应超时那么就会执行中断事务。 1.发送中断请求 协调者向所有参与者发送abort请求 2.事务回滚 参与者接收到abort请求之后利用其在阶段二记录的undo信息来执行事务的回滚操作并在完成回滚之后释放所有的事务资源。 3.反馈结果 参与者完成事务回滚之后向协调者发送ACK消息 4.中断事务 协调者接收到参与者反馈的ACK消息之后执行事务的中断。 在doCommit阶段如果参与者无法及时接收到来自协调者的doCommit或者rebort请求时会在等待超时之后会继续进行事务的提交。其实这个应该是基于概率来决定的当进入第三阶段时说明参与者在第二阶段已经收到了PreCommit请求那么协调者产生PreCommit请求的前提条件是他在第二阶段开始之前收到所有参与者的CanCommit响应都是Yes。一旦参与者收到了PreCommit意味他知道大家其实都同意修改了所以一句话概括就是当进入第三阶段时由于网络超时等原因虽然参与者没有收到commit或者abort响应但是他有理由相信成功提交的几率很大。
2PC与3PC的区别
相对于2PC3PC主要解决的单点故障问题并减少阻塞因为一旦参与者无法及时收到来自协调者的信息之后他会默认执行commit。而不会一直持有事务资源并处于阻塞状态。但是这种机制也会导致数据一致性问题因为由于网络原因协调者发送的abort响应没有及时被参与者接收到那么参与者在等待超时之后执行了commit操作。这样就和其他接到abort命令并执行回滚的参与者之间存在数据不一致的情况。 了解了2PC和3PC之后我们可以发现无论是二阶段提交还是三阶段提交都无法彻底解决分布式的一致性问题。Google Chubby的作者Mike Burrows说过 there is only one consensus protocol, and that’s Paxos” – all other approaches are just broken versions of Paxos. 意即世上只有一种一致性算法那就是Paxos所有其他一致性算法都是Paxos算法的不完整版。后面的文章会介绍这个公认为难于理解但是行之有效的Paxos算法。
参考资料
分布式协议之两阶段提交协议2PC和改进三阶段提交协议3PC关于分布式事务、两阶段提交、一阶段提交、Best Efforts 1PC模式和事务补偿机制的研究两阶段提交协议与三阶段提交协议
