大连辰熙大厦做网站,电子商务网站和开发新闻类网站,上街网站建设,百度客户电话1、kafka消息发送的流程#xff1f; producer发送过程中启动两个线程 一个main线程 一个sender线程#xff0c;在main线程中先创建一个双端队列#xff08;RecordAccumlator、producerbatch#xff09;#xff0c;main将我们需要发送的东西经过拦截器#xff0c;序列化 producer发送过程中启动两个线程 一个main线程 一个sender线程在main线程中先创建一个双端队列RecordAccumlator、producerbatchmain将我们需要发送的东西经过拦截器序列化分区器发送到双端队列中(双端队列中的内存默认为32m 可以在配置中修改sender线程不断的从双端队列中拉取消息等待达到batch.size的值后默认16k发送消息到kafka集群如果一直达不到batch.size的值就等待达到linger.ms值的时间后发送数据返回一个InflightRequests请求可通过配置文件修改1-5意思就是发送5条消息kafka集群收到消息后会进行acks应答如果kafka集群中的消息同步成功返回成功的应答信息sender中清理掉成功发送的消息如果发送失败sender就会重试retries重新发送 2、Kafka 的设计架构你知道吗 Kafka 将消息以 topic 为单位进行归纳(存储在了zk中可选择)发布消息的程序称为 Producer消费消息的程序称为 Consumer。它是以集群的方式运行可以由一个或多个服务组成每个服务叫做一个 BrokerProducer 通过网络将消息推送到 kafka 集群消费者从集群中拉取数据broker 在中间起到一个代理保存消息的中转站broker中还有可以通过分区提高数据的并行度等broker还有着leader以及follower的高可用机制即使有服务器挂掉其他的依旧可以顶上保证kafka的正常运行 3、Kafka 分区的目的 1提高并行度 以分区为单位进行消息的发送与消费 2有利于更加合理的储存资源 当数据在broker中存储的的时候分区可以将大量的数据切成一块一块的存储资源更加合理。而且合理的控制分区的数量还可以实现负载均衡的效果 4、你知道 Kafka 是如何做到消息的有序性 生产者发送的数据单分区内可以做到有序多分区无法保证除非把多个分区的数据拉到消费者端进行排序但这样做需要等效率很低还不如直接设置一个分区。 5、ISR、OSR、AR 是什么 isrisr中只显示活着的follower与leader的broker id osr表示 Follower 与 Leader 副本同步时连接不到的副本id ARkafka分区中所有副本的id都会在AR中显示 AR isr osr 6、Kafka 在什么情况下会出现消息丢失 1acks的级别设置为 0 的时候此时producer发送消息后不需要等待应答就结束了很容易造成数据丢失 2acks的级别设置为 1 的时候此时producer发送消息后Leader收到消息后应答不等待follower同步数据应答完成后producer就认为消息发送成功这时follower中并没有同步数据一但此时leader挂了通过选举机制产生的新leader中不会收到之前收到的消息因为producer得到了应答认为当时的消息已经发送成功了此时数据就丢失了 3acks的级别设置为 -1all 的时候虽然此时等待producer发送消息后leader和follower都同步消息后才会应答给producer数据就不容易丢失可靠性高但是效率较低 但是当acks-1的时候也会有些问题当leader收到消息后所有的follower都开始同步消息但是如果此时某个follower出现问题同步不到消息也会造成数据丢失 7、怎么尽可能保证 Kafka 的可靠性 将acks的级别设置为-1 分区数大于等于2 isr中可应答活着的副本数大于等于2,这样做只能保证数据不丢失但是不确保数据不会重复所以还需要引入幂等性和事务保证数据唯一这样数据就一定可靠了即保证数据不丢又保证数据不重复 8、Kafka中如何做到数据唯一即数据去重 利用幂等性 事务 幂等性虽然能做到去重但是只能保证单分区内数据不重复且服务器不挂掉的情况下所以我们还需要使用事务来保证数据的唯一 开启参数 enable.idempotence 默认为 truefalse 关闭。 幂等性生产者不论给broker中发送了多少条消息broker中只会持久化一条 9、生产者如何提高吞吐量 修改生产者重要参数的值 1、batch.size批次大小默认16k 2、linger.ms等待时间修改为5-100ms 3、compression.type压缩snappy 4、 RecordAccumulator缓冲区大小修改为64m 10、zk在kafka集群中有何作用 kafka中的消息都是存储到了zk上的 Kafka 的各 Broker 在启动时都要在Zookeeper上注册由Zookeeper统一协调管理。如果任何节点失败可通过Zookeeper从先前提交的偏移量中恢复因为它会做周期性提交偏移量工作。同一个Topic的消息会被分成多个分区并将其分布在多个Broker上这些分区信息及与Broker的对应关系也是Zookeeper在维护。 在安装kafka的时候修改了server.properties配置文件,在zk连接的位置写入了/kafka加入没有写这个的话kafka的消息就会存储到zk的根节点下 11、简述kafka集群中的Leader选举机制 当Leader挂了的时候在isr中存活、AR中最靠前follower会通过选举机制成为新的Leader 12、kafka是如何处理数据乱序问题的。 通过幂等性幂等性不但可以去重还有排序的功能 幂等性生产者不论给broker中发送了多少条消息broker中只会持久化一条 13、kafka中节点如何服役和退役 前提如果想要加入新的服役节点需要在/etc/hosts中配置新的broker的节点ip以及hostname 服役创建一个json文件里面写入新topic的id以及version1通过kafka-reassign-partitions.sh命令执行json文件 --broker-list副本写入需要服役broker的id --generate执行执行后会产生一堆的json内容复制到新的json文件中再通过kafka-reassign-partitions.sh --reassignment-json-file 后面写新的json文件名 --execute 执行此计划 退役和服役一样不同点就在于-broker-list副本写入需要服役broker的id不同 14、Kafka中Leader挂了Follower挂了然后再启动数据如何同步 当Leader挂了的时候在isr中存活、AR中最靠前follower会通过选举机制成为新的Leader即使此前的Leader重启了它也不会变成leader这时其他follower中log文件高于HW的部分截取掉再从新的Leader中同步 当follower挂了的时候挂掉的follower会被踢出isr其他的leader和follower继续同步数据重启后此follower会从上一次挂掉的节点直接切掉后面的数据重新从之前挂掉的节点开始同步数据 15、kafka中初始化的时候Leader选举有一定的规律如何打破这个规律呢 初始化后ar中的顺序和isr中的是一样的 当有节点比如是1挂掉的时候isr这个中这个副本数就会消失isr中存活且ar中排名靠前的副本将会成为新的leader再次启动原来的leader此时这个leader就会变成follower顺序错乱 初始化时 0分区中ar中是【012】 isr中也是【012】 leader0 1分区中ar中是【120】 isr中也是【120】 leader1 2分区中ar中是【201】 isr中也是【201】 leader2 节点1挂掉后 0分区中ar中是【012】 isr中也是【02】 leader0 1分区中ar中是【120】 isr中也是【20】 leader2 2分区中ar中是【201】 isr中也是【20】 leader2 节点1再次重启后顺序错乱 0分区中ar中是【012】 isr中也是【021】 leader0 1分区中ar中是【120】 isr中也是【201】 leader2 2分区中ar中是【201】 isr中也是【201】 leader2
