深圳自适应网站制作,辽宁省建设厅,专业做汽配的网站,网站建设方案内容1.zookeeper
kafka3.0之前依赖于zookeeper
zookeeper是一个开源#xff0c;分布式的架构#xff0c;提供协调服务#xff08;Apache项目#xff09;
基于观察者模式涉及的分布式服务管理架构
存储和管理数据#xff0c;分布式节点上的服务接受观察者的注册#xff0c…1.zookeeper
kafka3.0之前依赖于zookeeper
zookeeper是一个开源分布式的架构提供协调服务Apache项目
基于观察者模式涉及的分布式服务管理架构
存储和管理数据分布式节点上的服务接受观察者的注册一旦分布式节点上的数据如果发生变化由zookeeper来负责通知分布式节点上的服务 zookeeper分为领导者追随者 leader follower组成的集群
只要有一半以上的集群存活zookeeper集群就可以正常工作适用于安装奇数台的服务集群
全局数据一致每个zookeeper每个节点都保存相同的数据维护监控服务的数据一致。主要作用
数据更新的原子性要么都成功要么都失败
实时性只要有变化立刻同步。
zookeeper的应用场景
1.统一命名服务在分布式的环境下对所有的应用和服务进行统一命名
2.统一配置管理配置文件同步kafka的配置文件被修改可以快速同步到其他节点
3.统一集群管理实时掌握所有节点的状态
4.服务器动态上下限
5.负载均衡把访问的服务器的数据发送到访问最少的服务器处理客户端的请求
领导者和追随者zookeeper的选举机制
三台服务器A B C
A 先启动 发起第一选举投票投给自己只有一票不满半数A的状态是looking
B 启动 在发起一次选举A和B分别投自己一票交换选票信息myid A发现B的myid比A的大A的这票会转而投给BA 0 B 2 没有半数以上结果A B 会进入looking 、B有可能leader
C 启动 MYID C的myid最大 A和B都会把票投给C A 0 B 0 C 3
C的状态变为leader A B变为follower 只有leader确定后续的服务器都是追随者
只有两种情况会开启选举机制
1.初始化的情况会产生选举
2.服务器之间和eader丢失了连接状态
特殊情况下
leader已经存在建立连接即可
leader不存在leader不存在
1.服务器ID大的胜出
2.EPOCH大直接胜出
3.EPOCH相同事务ID大的胜出
EPOCH每个leader任期的代号没有leader大家的逻辑地址相同。每投完一次之后数据时递增
事务id表示服务器的每一次更新每变更一次id变化一次‘ 服务器ID
zookeeper 当中所有机器。每台机器不重复和mysql保存一直 zookeeperkafka2.7.0
kafka 3.4.1
实现
zookeeper集群
192.168.233.10 zookeeperkafka
192.168.233.20 zookeeperkafka
192.168.233.30 zookeeperkafka 所有
systemctl stop firewalld
setenforce 0
cd /opt
拖进去 apache-zookeeper-3.5.7-bin.tar.gz kafka_2.13-2.7.0
yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
java -version
cd /opt
tar -xf apache-zookeeper-3.5.7-bin.tar.gz
mv apache-zookeeper-3.5.7-bin zookeeper
cd zookeeper
cd /opt/zookeeper/conf
cp zoo_sample.cfg zoo.cfg vim zoo.cfg tickTime2000
#服务器与客户端之间心跳时间2秒检测一次服务器和客户端之间的通信
initLimit10
#领导者和追随者之间最对几次心跳数超时 10*2S 20S
syncLimit5
#同步超时时间领导者和追随者之间同步通信超时的时间。5*2s leader会认为follower丢失移除集群
16行
dataDir/opt/zookeeper/data
dataLogDir/opt/zookeeper/logs (需要改)
添加
server.1192.168.233.10:3188:3288
server.2192.168.233.20:3188:3288
server.3192.168.233.30:3188:3288 ##
server.1192.168.233.10:3188:3288
1 定义每个zookeeper集群的初始myid
192.168.233.10 服务器的ip地址
3188领导者和追随者之间交换信息的端口内部通信的端口
3288一旦leader丢失响应开启选举3288就是用来执行选举时的通信端口
##
wq!
mkdir /opt/zookeeper/data
mkdir /opt/zookeeper/logs
三台分别创建
10
cd ..
cd data/
echo 1 myid
20
cd ..
cd data/
echo 2 myid
30:
cd ..
cd data/
echo 3 myid 所有
vim /etc/init.d/zookeeper #!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME/opt/zookeeper
case $1 in
start)
echo ---------- zookeeper 启动 ------------
$ZK_HOME/bin/zkServer.sh start
;;
stop)
echo ---------- zookeeper 停止 ------------
$ZK_HOME/bin/zkServer.sh stop
;;
restart)
echo ---------- zookeeper 重启 ------------
$ZK_HOME/bin/zkServer.sh restart
;;
status)
echo ---------- zookeeper 状态 ------------
$ZK_HOME/bin/zkServer.sh status
;;
*)
echo Usage: $0 {start|stop|restart|status}
esac wq! 三台服务器分别启动(一个一个起)
chmod x /etc/init.d/zookeeper
chkconfig --add zookeeper
service zookeeper start
起完以后看状态
service zookeeper status 2.kafka
为什么要引入消息队列MQ首先他也是一个中间件。在高并发环境下同步请求太多来不及处理来不及处理的请求会阻塞比方数据库就会形成行锁或者表锁请求线程满了超标了too many connection。整个系统雪崩
消息队列的作用异步处理请求 流量削峰应用解耦 可恢复性 缓冲机制
解耦
耦合在软件系统当中修改一个组件需要修改所有其他组件高度耦合
低度耦合修改其中一个组件对其他最贱影响不大无需修改所有
A B C
只有通信保证其他的修改不影响整个集群每个组件可以独立的扩展修改降低组件之间的依赖性
依赖点就是接口约束通过不同的端口保证集群通信 可恢复性系统当中的有一部分组件消失不影响整个系统也就是在消息队列当中即使有一个处理消息的进程失败一旦恢复还可以重新加入到队列当中继续处理消息。
缓冲机制可以控制和优化数据经过系统的时间和速度解决生产消息和消费消息处理速度不一致的问题
峰值的处理能力消息队列在峰值情况之下能够顶住突发的访问压力。避免专门为了突然情况而对系统进行修改
异步通信允许用户把一个消息放入队列但是不立即处理等我想处理的时候在处理 消息队列的模式
点对点 一对一消息的生产者发送消息到队列中消费者从队列中提取消息消费者提取完之后队列中被提取的消息将会被移除后续消费者不能再消费队列当中的消息消息队列可以有多个消费者但是一个消息只能由一个消费者提取
RABBITMQ 发布/订阅模式一对多又叫做观察者模式。消费者提取数据之后队列当中的消息不会被清除
生产者发布一个消息到对象主题所有消费者都是通过主题获取消费之后队列当中的消息不会消除
主题topic topic类似于一个数据流的管道生产者把消息发布到主题消息从主题当中订阅数据主题可以分区每个分区都要自己的偏移量
分区partition 每个主题都可以分成多个分区每个分区是数据的有序子集分区可以运行kafka进行水平扩展以处理大量数据
消息在分钟按照偏移量存储消费者可以独立每个分区的数据
偏移量是每个消息在分区中唯一的标识消费者可以通过偏移量来跟踪获取已读或者未读消息的位置也可以提交偏移量来记录已处理的信息 生产者producer 生产者把数据发送kafka的主题当中 负责写入消息
消费者consumer从主题当中读取数据消费者可以是一个也可以是多个每个消费者有一个唯一的消费者组IDkafka实现负载均衡和容错性
经纪人Broker每个kafka节点都有一个Broker每个Broker负责一台kafka服务器id唯一存储主题分区当中的数据处理生产和消费者的请求维护元数据zookeeper zookeeperzookeeper负责保存元数据元数据就是topic的相关信息发布在哪台主机上指定了多少分区以及副本数偏移量
zookeeper自建一个主题_consumer_offsets,
3.0之后不依赖zookeeper的核心 元数据由kafka节点自己管理 消费的方式
begining从头开始
实时更新
指定位置用代码编写 kafka的工作流程
生产者向主题里面发送数据主题里的分区保存数据消费者根据消费方式来消费数据。
生产者写入的topic的数据时持久化默认7个小时
至少一次语义只要消费者进入确保消息至少被消费一次。 实验
所有
cd /opt
tar -xf kafka_2.13-2.7.0.tgz
mv kafka_2.13-2.7.0 kafka vim /etc/profile
export KAFKA_HOME/opt/kafka
export PATH$PATH:$KAFKA_HOME/bin
source /etc/profile cd /opt/kafka/config
cp server.properties server.properties.bak 10:
vim server.properties
21行 65行 修改 130行 修改
zookeeper.connect192.168.233.10:2181,192.168.233.20:2181,192.168.233.30:2181 配置zookeeper的集群
20 所有
vim /etc/init.d/kafka #!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME/opt/kafka
case $1 in
start)
echo ---------- Kafka 启动 ------------
${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
;;
stop)
echo ---------- Kafka 停止 ------------
${KAFKA_HOME}/bin/kafka-server-stop.sh
;;
restart)
$0 stop
$0 start
;;
status)
echo ---------- Kafka 状态 ------------
count$(ps -ef | grep kafka | egrep -cv grep|$$)
if [ $count -eq 0 ];then
echo kafka is not running
else
echo kafka is running
fi
;;
*)
echo Usage: $0 {start|stop|restart|status}
esac wq! chmod x /etc/init.d/kafka
chkconfig --add kafka
service kafka start
netstat -antp | grep 9092 所有
cd /opt/kafka/bin 20:
kafka-topics.sh --create --zookeeper 192.168.233.10:2181,192.168.233.20:2181,192.168.233.30:2181 --replication-factor 2 --partitions 3 --topic test1 kafka-topics.sh --create --zookeeper 192.168.66.15:2181,192.168.66.16:2181,192.168.66.17:2181 --replication-factor 2 --partitions 3 --topic test1
##
创建主题
1.在kafka的bin目录下创建是所有kafka可执行命令的文件
2. --zookeeper指定的是zookeeper的地址和端口保存kafka的元数据
3. --replication-factor 2 定义每个分区的副本数
4.partition 3 指定主题的分区数
5. --topic test1 指定主题的名称 10:
kafka-topics.sh --describe --zookeeper 192.168.233.10:2181,192.168.233.20:2181,192.168.233.30:2181
kafka-topics.sh --describe --zookeeper 192.168.233.10:2181,192.168.233.20:2181,192.168.233.30:2181 --topic test1 kafka-topics.sh --describe --zookeeper 192.168.66.15:2181,192.168.66.16:2181,192.168.66.17:2181
kafka-topics.sh --describe --zookeeper 192.168.66.15:2181,192.168.66.16:2181,192.168.66.17:2181 --topic test3 所有
vim /etc/hosts
192.168.233.10 test1
192.168.233.20 test2
192.168.233.30 test3
记得改主机名
20:
kafka-console-producer.sh --broker-list 192.168.66.15:9092,192.168.66.16:9092,192.168.66.17:9092 --topic test3 kafka-console-producer.sh --broker-list 192.168.233.10:9092,192.168.233.20:9092,192.168.233.30:9092 --topic test1 30:
从头开始
kafka-console-consumer.sh --bootstrap-server 192.168.66.15:9092,192.168.66.16:9092,192.168.66.17:9092 --topic test3 --from-beginning kafka-console-consumer.sh --bootstrap-server 192.168.233.10:9092,192.168.233.20:9092,192.168.233.30:9092 --topic test1 --from-beginning 实时消息
kafka-console-consumer.sh --bootstrap-server 192.168.66.15:9092,192.168.66.16:9092,192.168.66.17:9092 --topic test3 kafka-console-consumer.sh --bootstrap-server 192.168.233.10:9092,192.168.233.20:9092,192.168.233.30:9092 --topic test1 20创建
kafka-topics.sh --create --zookeeper 192.168.233.20:2181 --partitions 1 --replication-factor 1 --topic guoqi1 kafka-topics.sh --create --zookeeper 192.168.66.16:2181 --partitions 1 --replication-factor 1 --topic guoqi1 30:创建
kafka-topics.sh --create --zookeeper 192.168.233.20:2181 --partitions 1 --replication-factor 1 --topic guoqi2 kafka-topics.sh --create --zookeeper 192.168.66.17:2181 --partitions 1 --replication-factor 1 --topic guoqi2 10:连接
kafka-console-consumer.sh --bootstrap-server 192.168.233.20:9092 --topic guoqi1
kafka-console-consumer.sh --bootstrap-server 192.168.233.20:9092 --topic guoqi2 kafka-console-consumer.sh --bootstrap-server 192.168.66.16:9092 --topic guoqi1
kafka-console-consumer.sh --bootstrap-server 192.168.66.17:9092 --topic guoqi2 20:发送
kafka-console-producer.sh --broker-list 192.168.233.20:9092 --topic guoqi1 kafka-console-producer.sh --broker-list 192.168.66.16:9092 --topic guoqi1
30:发送
kafka-console-producer.sh --broker-list 192.168.233.30:9092 --topic guoqi2 kafka-console-producer.sh --broker-list 192.168.66.17:9092 --topic guoqi2
如何修改分区数
20kafka-topics.sh --zookeeper 192.168.233.20:2181 --alter --topic guoqi1 --partitons 3
删除
kafka-topics.sh --delete --zookeeper 192.168.233.20:2181 --topic guoqi1 查看元数据
cd /opt/zookeeper/bin
./zkCli.sh -server 192.168.233.10:2181
