企业网站开发基本流程,网站策划书基本内容,asp网站上传,宁波网络公司哪家最好Zookeeper 是一个高性能的分布式一致系统#xff0c;在分布式系统中有着广泛的应用。基于它#xff0c;可以实现诸如“分布式同步”、“配置管理”、“命名空间管理”等众多功能#xff0c;是分布式系统中常见的基础系统。Zookeeper 主要用来解决分布式集群中应用系统的一致… Zookeeper 是一个高性能的分布式一致系统在分布式系统中有着广泛的应用。基于它可以实现诸如“分布式同步”、“配置管理”、“命名空间管理”等众多功能是分布式系统中常见的基础系统。Zookeeper 主要用来解决分布式集群中应用系统的一致性问题。 本篇内容包括Zookeeper————分布式过程协同技术 以及 Zookeeper 的数据结构。 文章目录一、Zookeeper————分布式过程协同技术1、什么是“分布式过程协同技术”2、关于 Zookeeper3、Zookeeper 特性二、Zookeeper 的数据结构1、ZooKeeper 数据模型的结构2、ZooKeeper 数据模型与 Unix 文件系统差异3、Znode 节点三、zookeeper 应用场景1、通知协调数据发布与订阅2、命名服务3、分布式锁4、负载均衡5、配置管理6、集群管理一、Zookeeper————分布式过程协同技术
1、什么是“分布式过程协同技术”
分布式协同技术是用来解决多进程的同步控制使得进程有序的访问零界资源而这种技术的本质是分布式锁。
Zookeeper 主要作用为在分布式系统中协调多个任务一个任务可以是协作或者是竞争。
协作意味着多个进程需要一同处理某些事情一些进程采取某些行动使得其他进程可以继续工作例如在主从模式中主节点与从节点协作主节点分配任务给从节点竞争是指两个进程不能同时处理工作一个进程必须等待另一个进程例如:同样在主从工作模式中通过互斥排它锁的方式保证任何时刻只有一个主。
2、关于 Zookeeper 关于 Zookeeper 名字的由来Zookeeper 由雅虎研究院开发开发团队原来想使用动物命名项目在讨论时大家觉得分布式系统就像一个动物园胡乱且难以管理而 Zookeeper 就是将这一切变得可控。遂起名为 Zookeeper意为动物园管理员。 Zookeeper 是一个高性能的分布式一致系统在分布式系统中有着广泛的应用。基于它可以实现诸如“分布式同步”、“配置管理”、“命名空间管理”等众多功能是分布式系统中常见的基础系统。有很多我们非常熟悉的系统的基础都是采用的 Zookeeper比如 Apache Kafka、Apache HBase、Apache Solr…
Zookeeper 主要用来解决分布式集群中应用系统的一致性问题。
Zookeeper 维护一个类似 Unix 文件系统的数据结构其中每个节点均可存储少量的数据并且都可以被监听可以发通知。客户端注册监听它关心的目录节点当目录节点发生变化数据改变、被删除、子目录节点增加删除时Zookeeper 会通知客户端来执行回调机制
Zookeeper 在设计模式的角度上来看是基于观察者模式的可以把它作为一个信息的中心。使用该服务的生产者和消费者都以 Zookeeper 中的数据为基准即 “生产者可以改变节点上的状态和数据消费者订阅节点从而能够在节点变动时收到通知”。基于这样的机制将 Zookeeper 作为信息中心便可以实现分布式系统中节点状态的最终一致性。
3、Zookeeper 特性
ZooKeeper 特性如下
最终一致性Eventually Consistent客户端不论连接到哪个 Zookeeper 的哪一个节点最终都会收到同一份状态。这是 Zookeeper 最重要的性能顺序一致性Sequential Consistency来自相同客户端提交的事务ZooKeeper 将严格按照其提交顺序依次执行全局一致性Single System ImageZooKeeper 每个 Server 保存一份相同的数据副本Clinent 无论连接那个 Server数据都是一致的原子性Atomicity于 ZooKeeper 集群中提交事务只能成功或者失败没有中间状态可靠性Reliability事务一旦完成其产生的状态变化将永久保留直到其他事务进行覆盖实时性Timeliness在一定时间范围内Client 能读到最新数据等待无关wait-free慢的或者失效的 Client 不得干预快速的 Client 的请求使得每个 Client 都能有效的等。 二、Zookeeper 的数据结构
1、ZooKeeper 数据模型的结构
ZooKeeper 数据模型的结构与 Unix 文件系统很类似整体上可以看作是一棵树每个节点称做一个 ZNode每个 ZNode 默认能够存储 1MB 的数据每个 ZNode 都可以通过其路径唯一标识 2、ZooKeeper 数据模型与 Unix 文件系统差异
ZooKeeper 数据模型在结构上和标准文件系统都是采用树形层次结构每个节点可以拥有子节点。但也有不同之处
引用方式Zonde 通过路径引用如同 Unix 中的文件路径。路径必须是绝对的因此他们必须由斜杠字符来开头。除此以外他们必须是唯一的也就是说每一个路径只有一个表示因此这些路径不能改变。在 ZooKeeper 中路径由 Unicode 字符串组成并且有一些限制。字符串 “/zookeeper” 用以保存管理信息比如关键配额信息。数据访问ZooKeeper 中的每个节点存储的数据要被原子性的操作。也就是说读操作将获取与节点相关的所有数据写操作也将替换掉节点的所有数据。另外每一个节点都拥有自己的ACL(访问控制列表)这个列表规定了用户的权限即限定了特定用户对目标节点可以执行的操作。观察客户端可以在节点上设置 watch我们称之为监视器。当节点状态发生改变时Znode 的增、删、改将会触发 watch 所对应的操作。当 watch 被触发时ZooKeeper 将会向客户端发送且仅发送一条通知因为 watch 只能被触发一次这样可以减少网络流量。
3、Znode 节点
ZooKeeper 命名空间中的 Znode兼具文件和目录两种特点。既像文件一样维护着数据、元信息、ACL、时间戳等数据结构又像目录一样可以作为路径标识的一部分。图中的每个节点称为一个Znode。 每个 Znode 由3部分组成:
stat此为状态信息, 描述该Znode的版本, 权限等信息data与该Znode关联的数据children该Znode下的子节点
ZooKeeper 虽然可以关联一些数据但并没有被设计为常规的数据库或者大数据存储相反的是它用来管理调度数据比如分布式应用中的配置文件信息、状态信息、汇集位置等等。这些数据的共同特性就是它们都是很小的数据通常以 KB 为大小单位。ZooKeeper 的服务器和客户端都被设计为严格检查并限制每个 Znode 的数据大小至多 1M但常规使用中应该远小于此值。
# Znode类型
ZooKeeper 创建 ZNode 时可以指定四种类型节点的类型在创建时即被确定并且不能改变
PERSISTENT持久性 ZNode。创建后即使客户端与服务端断开连接也不会删除只有客户端主动删除才会消失。PERSISTENT_SEQUENTIAL持久性顺序编号 ZNode。和持久性节点一样不会因为断开连接后而删除并且 ZNode 的编号会自动增加。EPHEMERAL临时性 ZNode。客户端与服务端断开连接该 ZNode 会被删除。EPEMERAL_SEQUENTIAL临时性顺序编号 ZNode。和临时性节点一样断开连接会被删除并且 ZNode 的编号会自动增加。
Ps当创建 Znode 的时候用户可以请求在 ZooKeeper 的路径结尾添加一个递增的计数。这个计数对于此节点的父节点来说是唯一的它的格式为%10d(10 位数字没有数值的数位用 0 补充例如0000000001)。当计数值大于 2^32-1 时计数器将溢出。 三、zookeeper 应用场景
1、通知协调数据发布与订阅
应用配置集中到节点上应用启动时主动获取并在节点上注册一个 watcher每次配置更新都会通知到应用。
数据发布/订阅Publish/Subscribe系统即所谓的配置中心顾名思义就是发布者将数据发布到 ZooKeeper 的一个或一系列节点上供订阅者进行数据订阅进而达到动态获取数据的目的实现配置信息的集中式管理和数据的动态更新。
2、命名服务
分布式命名服务创建一个节点后节点的路径就是全局唯一的可以作为全局名称使用
命名服务是分步实现系统中较为常见的一类场景分布式系统中被命名的实体通常可以是集群中的机器、提供的服务地址或远程对象等通过命名服务客户端可以根据指定名字来获取资源的实体、服务地址和提供者的信息。Zookeeper 也可帮助应用系统通过资源引用的方式来实现对资源的定位和使用广义上的命名服务的资源定位都不是真正意义上的实体资源在分布式环境中上层应用仅仅需要一个全局唯一的名字。Zookeeper 可以实现一套分布式全局唯一 ID 的分配机制。
3、分布式锁
Zookeeper 能保证数据的强一致性用户任何时候都可以相信集群中每个节点的数据都是相同的。一个用户创建一个节点作为锁另一个用户检测该节点如果存在代表别的用户已经锁住如果不存在则可以创建一个节点代表拥有一个锁。
4、负载均衡
通过 Zookeeper 来实现服务动态注册、机器上线与下线的动态感知扩容方便容错性好且无中心化结构能够解决之前使用负载均衡设备所带来的单点故障问题。只有当配置信息更新时服务消费者才会去 Zookeeper上获取最新的服务地址列表其他时候使用本地缓存即可这样服务消费者在服务信息没有变更时几乎不依赖配置中心能大大降低配置中心的压力。
5、配置管理
在分布式应用环境中很常见例如同一个应用系统需要多台节点运行但是它们运行的应用系统的某些配置项是相同的如果要修改这些相同的配置项那么就必须同时修改每台运行这个应用系统的 PC Server这样非常麻烦而且容易出错。像这样的配置信息完全可以交给 Zookeeper 来管理将配置信息保存在 Zookeeper 的某个目录节点中然后将所有需要修改的应用机器监控配置信息的状态一旦配置信息发生变化每台应用机器就会收到 Zookeeper 的通知然后从 Zookeeper 获取新的配置信息应用到系统中。
6、集群管理
每个加入集群的机器都创建一个节点写入自己的状态。监控父节点的用户会受到通知进行相应的处理。离开时删除节点监控父节点的用户同样会收到通知。
