(接上文《架构设计:系统存储(23)——数据一致性与Paxos算法(上)》)
2-1-1. Prapare准备阶段
首先须要介绍几个在Acceptor角色上须要被持久化保存的数据属性:
- PrepareVote保存了当前Acceptor接收到的已完毕投票授权的最大投票轮次
- AcceptedVote保存了当前Acceptor在赋值阶段完毕投票赋值的投票轮次
- AcceptedValue保存了当前Acceptor在赋值阶段被赋予的值
1、第一个阶段Proposer和Acceptor至少要完毕一次网络通讯,其主要目的是确定针对提议X的当前投票轮次能否被授权。换句话说,依据Acceptor在准备阶段的工作原则。即使确定当前投票轮次的编号值是大于Acceptor中记录的PrepareVote的值。处理过程非常easy,即Proposer向全部Acceptor发出关于发起提议X的新一轮投票的申请。并等待各个Acceptor进行响应。当然会有一个超时时间,假设超过这个时间还没有得到Acceptor的响应。则觉得已经被拒绝。假设有超过N/2 + 1个节点在规定的时间内没有回复响应,那就说明整个选举系统发现了问题,则终止操作抛出错误,向client反馈异常信息。
2、收到这个发起新的一轮投票操作的授权请求后。各个Acceptor開始推断能否够进行授权。推断的原则仅仅与PrepareVote有关,既是假设当前申请的投票轮次小于等于PrepareVote的赋值。则拒绝授权;其他情况都要接受授权,并更改PrepareVote属性为当前新的投票伦次编号。
这里有一个隐藏含义,即这个Acceptor新授权的投票轮次编号。一定大于之前PrepareVote的值。
3、Proposer将负责汇总全部Acceptor的响应情况,并依据汇总的情况推断下一步的操作。不管Acceptor是授权这次投票还是拒绝这次投票,给出的响应信息中都最好包含当前Acceptor所记录的PrepareVote、AcceptedVote和AcceptedValue信息,这样有利于Proposer分析为什么会被Acceptor拒绝。下图展示了Proposer在汇总全部Acceptor的响应时可能出现的各种情况:
当然还有一种情况三,就是超过(包含)N/2 + 1个Acceptor节点在规定的时间内没有反馈结果,这种情况直接判定Paxos系统崩溃,所以就不做进一步讨论了。
请注意,不管是上图的哪种情况,仅仅要至少N/2 + 1个Acceptor节点的AcceptedValue为同一个值,就觉得提议X的结果达到了终于一致,整个Paxos算法过程也结束。
3.1、在Proposer得到的响应情况一中,至少N/2 + 1个Acceptor允许这轮投票。这些Acceptor就形成了一个集合Q,这个集合Q将继续下一步骤的操作。
这时集合Q中的Acceptor是否已有AcceptedValue就非常重要了:假设集合Q中没有不论什么一个Acceptor的AcceptedValue属性有值。则当前Proposer会在下一步提议自己的值为集合Q中每个Acceptor的赋值目标;假设集合Q中至少存在一个Acceptor的AcceptedValue属性有值,则Proposer会选择一个AcceptedVote最大的AcceptedValue属性值,作为当前Proposer会在下一步进行Acceptor赋值的目标。
3.2、在Proposer得到的响应情况二中,始终未达到N/2 + 1个Acceptor允许这轮投票——不管是不满足Acceptor的授权原则还是Acceptor超时未响应。仅仅要至少N/2 +1个Acceptor所回复的AcceptedValue属性值相同。则表示针对提议X已经形成了终于一致的结果,无需再进行投票了。
否则,Proposer会将自己的投票轮次编号进行添加后,再发起投票——这个添加规则兴许再讨论。读者眼下能够觉得是+1。
2-1-2. Accept赋值阶段
一旦有N/2 + 1个Acceptor节点授权了本轮投票,Proposer就能够进入第二阶段——赋值阶段。第二阶段将以上一阶段形成的多数派集合Q作为操作目标。例如以下图所看到的:
1、Proposer将会以上一阶段3.1步骤中所确定的value和自己的vote一起发送给集合Q中的每个Acceptor。并等待回复。
2、Acceptor收到赋值请求后,将会依照推断原则确认是否进行赋值。这个推断原则上文已经说过了。这里再说一次。假设当前收到的vote小于当前Acceptor的PrepareVote属性值,则不会进行赋值。为什么Acceptor上的PrepareVote会发生变化呢?这是由于在这个Proposer从第一阶段到第二阶段的操作间隙,还有一个或者多个Proposer使用编号更大的vote发起了更新一轮的投票,并得到当前Acceptor的授权。
假设当前收到的vote等于当前Acceptor的PrepareVote属性值则接受这次赋值,这时Acceptor将更改其AcceptedVote属性为vote,更改其AcceptedValue属性为value。
注意一种情况。Acceptor会不会在第二阶段操作时收到一个vote大于当前PrepareVote的赋值请求呢?这是不会的,由于不论什么Acceptor要更换PrepareVote。仅仅可能更换比当前PrepareVote更大的值。所以之前被Acceptor允许授权的vote一定会小于或者等于当前Acceptor的PrepareVote属性值。
3、赋值操作完毕后。Acceptor将向Proposer返回赋值操作后的AcceptedValue属性和AcceptedVote属性。换句话说就是,即使Acceptor拒绝了第二阶段的赋值操作,也要向Proposer返回AcceptedValue属性值。下面为Proposer端汇总统计时,可能出现的情况:
3.1、Acceptor收到集合Q中全部Acceptor的赋值结果后,就会进行汇总推断。假设发现全部赋值结果都是一样的value。则觉得针对议题X形成了终于一致的结果。整个投票过程结束,value就是达成的终于值。
3.2、假设收到集合Q中全部Acceptor的赋值结果。并进行比較的过程中。发现不论什么一个赋值结果不一致,则觉得赋值操作失败。这时Proposer会将自己的投票轮次编号进行添加后,再回到第一阶段又一次发起投票。
2-1-3. 分析一种极端情况
Paxos算法的一个核心思路在于形成多数派决议,要形成核心思路Acceptor就必须依照自己的两个工作原则进行授权操作和赋值操作。
这就是为什么我们在介绍Paxos算法时常常提到N/2 + 1的边界节点数量的原因。
由于一旦形成多数派。决定终于一致性的关键表决就能够落在唯一一个节点上,也就是说假设第X1轮投票和第X2轮投票假设都同一时候拿到了多数派Acceptor的授权,那么它们的核心战略点就是要去抢占授权X1投票的Acceptor集合和授权X2投票的Acceptor集合求交集后至少存在一个的Acceptor节点。好消息是赋值阶段X1轮投票的编号和X2轮投票的编号总是不同的。也总有大小差异的。而Acceptor的工作方式决定了它仅仅会接受编号更大的投票操作的赋值。
这个原理能够扩展到随意多个Proposer,那么有的读者会问了,会不会出现一种每个Acceptor的AcceptedValue属性都被赋值,且都没有达到多数派的特殊情况呢(例如以下图所看到的)?
答案是不会的。本小节我们将使用反向论证证的方式来进行阐述。首先要出现三个X1的赋值结果Proposer1便不能继续赋值这种现象,仅仅可能是一种情况即Proposer1在经过两阶段操作。并在进行Acceptor1~Acceptor3赋值的时候。后者三个节点上PrepareVote等于Proposer1的Vote,而在Proposer1准备进行兴许三个节点赋值时。却发现Acceptor4~Acceptor6的PrepareVote改变了。
例如以下图所看到的:
这时发起V2轮次投票的ProposerB。有两种情况。例如以下图所看到的:
第一种情况ProposerB还没有接收到至少N/2 + 1个Acceptor节点的授权结果,还处于第一阶段(这里Acceptor节点个数为6个,所以至少应该收到4个Acceptor的授权结果),这时ProposerB会一直等待汇总,假设等待超时都没有收到必要数量的结果,那么ProposerB继续添加它的投票编号。并又一次发起。这时相同能够保证Acceptor集合不被之前的Proposer继续赋值——由于投票编号仍然最大。
假设是上图所看到的的另外一种情况。就更简单了。ProposerB节点已经收到了至少4个Acceptor节点的授权结果,而这4个Acceptor节点。至少有一个节点携带了AcceptedValue为X1的值——由于眼下被赋予X1的Acceptor节点个数,刚好为一半3个节点,和N/2 + 1个节点求交集后,至少有一个重叠的Acceptor节点(注意,基数为偶数,假设为奇数就更不会出现我们如今讨论的极端情况了)。也就是说当ProposerB节点进入第二阶段赋值操作时。向剩余Acceptor节点传递的值相同为X1,而不是自身原始提议的X2,所以终于本小节最初所述的极端情况不会出现。
2-1-4、一种投票轮次的初始和添加规则
在眼下我们讨论的设计中,提到一个投票轮次的确定问题。不同Proposer发起的投票能够不一定全局递增。而同一个Proposer必须保证自己的发起的新一轮投票编号vote,一定是递增的(增量必须为1吗?这个不一定)。这是由于Acceptor在第一阶段的工作原则是,仅仅接受vote大于当前PrepareVote的新一轮投票授权,那么对于某个Proposer而言。最不济的情况就是不管自己本身怎样发起新一轮的投票,都不会得到Acceptor的授权,而终于结果仅仅能听命于别的Proposer所提议的值。
非常显然上图中不管ProposerB怎样发起新一轮投票,都会在第一阶段被Acceptor拒绝掉。由于至少有一个Proposer的投票轮次编号一直比他的大。这种算法的简便处理方式尽管一定程度上降低了代码的编写难度,可是仅仅能算作伪算法实现(眼下非常多系统为了平衡性能、维护性和实现难易度。都会採用这种方式)。由于全部投票轮次的发起和赋值仅仅会听从于唯一一个Proposer。在算法的运行过程中根本就不会出现投票冲突的情况;还有一个方面,对并发状态下无法终于确认选值的Client来说也不公平,由于全部Client对终于赋值的选择也仅仅会听命于唯一一个Client(忘了说了,Client是整个Paxos中还有一个角色,这个角色负责向相应的Proposer提交须要进行表决的提案)。
所以我们须要一种投票轮次编号递增的方式,来保证不同轮次的投票请求真正的竞争起来。
有的读者可能第一个想到的就是zookeeper这种分布式协调器来生成编号,保证编号的唯一性和递增性,甚至非常多学术资料、网络文章上都有提到使用这种方式。
拜托。要是能够使用zookeeper解决问题。那我们还实现Paxos算法干什么?全部解决冲突的工作都交给zookeeper就好了嘛。之所以要实现Paxos算法,就是由于要建造一个和ZK同属一个工作层的协调组件,所以关于编号的问题就仅仅能自己想办法了。
这里介绍一种对投票轮次的编号方式,能够有效降低编号冲突,并在针提案X的投票过程中真正产生竞争。这个编号方式的前提条件是,各个Proposer工作在局域网环境下,并能通过组播的方式发现对方。在各个Proposer内部有一个使用Proposerid进行排序后的Proposer集合列表。这时就能够通过余数原则进行编号了:
(N × V) + index + 1,这个公式中。N表示集合大小。V表示投票轮次(从0開始),index表示当前Proposer所在集合的位置索引。比如,设N==4时。id为1的存在于这个有序集合列表第一个索引位置的Proposer,能够使用的投票编号就是1、5、9、13……,存在于这个有序集合列表第二个索引位置的Proposer,能够使用的投票编号就是2、6、10、14、18……,存在于这个有序集合列表第三个索引位置的Proposer,能够使用的编号就是3、7、11、15、19……
那么这种编号设计就不会反复了吗?当然会。特别是在整个Paxos算法系统的启动阶段。比如整个Paxos算法中全部N个节点的Proposer都已经启动了,可是某个Proposer上还临时仅仅发现了N-2个Proposer节点,这样该Proposer计算得出的自己所使用的编号。就可能和另外某个Proposer所计算得出的自己使用的编号反复。并且这个差异还与使用的不同节点发现方式而不同。比如在兴许文章中给出的Basic-Paxos算法实现代码中。就使用组播方式进行Proposer节点发现,而这种节点发现方式就会使每个Proposer节点上的节点发现进度在Paxos算法系统启动之初出现不一致。
只是好消息是,Acceptor在第一阶段的工作原则中,仅仅会授权大于当前AcceptedVote的投票申请(此时AcceptedVote <= PrepareVote)。也就是说当两个或者多个持有相同投票伦次的Proposer向同一个Acceptor申请投票授权时。Acceptor仅仅会授权当中一个。还有一个的授权申请将被Acceptor拒绝。这就保证了有相同投票轮次编号的授权请求在同一个Acceptor上不会被反复允许,那么这些有相同投票轮次编号的Proposer就能够决定自己是否拿到了授权多数派。假设没有拿到授权,当Proposer集合稳定存在后。就会有新的且更大的投票轮次编号了。
===============
(接下文)