珠海网站建设官网,作品推广,住房和城乡建设部网站打不开,申请免费个人网页如果你还不了解 Kafka#xff0c;或者也打算深入探索、系统学习#xff0c;那么欢迎有同样目标的小伙伴可以加群交流#xff0c;让学习之路不再孤独。 一个人可能走的很快#xff0c;但是一群人会走的更远。#xff08;后台回复#xff1a;加群#xff09; 点击上方“后… 如果你还不了解 Kafka或者也打算深入探索、系统学习那么欢迎有同样目标的小伙伴可以加群交流让学习之路不再孤独。 一个人可能走的很快但是一群人会走的更远。后台回复加群 点击上方“后端开发技术”选择“设为星标” 优质资源及时送达 为什么学习 Kafka Kafka 在当下求职市场中可以说是应聘的必备条件之一想要应聘高薪岗位就需要熟练掌握这款优秀的消息引擎。 对于当下环境来说各个公司尤其是互联网公司的数据量越来越大需要存储和处理大量的数据但是计算机的瞬时处理能力是有限的这就需要一款消息引擎来帮助我们缓解流量激增的问题平滑将数据传导到下游系统中。 消息引擎系统是一组规范企业利用这组规范在不同系统之间传递语义准确的消息实现松耦合的异步式数据传递。 作为一款消息引擎它主要有以下使用场景。 异步处理同步调用转换成异步消息通知在消费者种实现对应的业务处理。比如在一个交易场景中系统的调用链路很长订单创建完成后需要检查商品的库存、扣库存、发短信、App 通知等功能如果都放在一个接口同步调用接口响应时间会变得很长。但是如果把这些逻辑都利用消息引擎做异步处理逻辑将变得很轻量级。应用解耦减少应用直接的强依赖利用消息队列通信从而变成一种松耦合的结构。比如如果用户注册系统和红包系统利用接口同步通信红包系统挂掉用户将无法注册造成巨大损失。但是如果用户注册后发出一条注册消息红包系统恢复后慢慢去消费则可以解耦提高系统的可用性。削峰填谷利用消息中间件缓冲上游生产者大量流量从而使消费者消费流量整体平滑。对于消息生产能力很强的上游系统如果没有消息中间件的保护下游系统可能会直接被压垮导致全链路服务雪崩。比如秒杀业务场景上游业务发起下单请求下游业务执行秒杀业务库存检查库存冻结余额冻结生成订单等等下游业务处理的逻辑是相当复杂的并发能力有限如果上游服务不做限流策略瞬时可能把下游服务压垮。针对此场景我们可以利用 MQ 来做削峰填谷让高峰流量填充低谷空闲资源达到系统资源的合理利用。 综合以上场景这就要求一款消息引擎需要具备高可靠、高性能的特点Kafka 就满足这样的要求。 设计消息系统应该注意什么 消息系统的不同成员之间需要利用消息进行信息的传递这就涉及到两个重要的内容 消息传递的格式是什么消息是如何传递的协议是什么 消息传递的格式选择有很多比如 JSON、XML、Protobuf 等对于 Kafka 来说他使用的是纯二进制的字节序列当然消息还是结构化的只是在使用之前都要将其转换成二进制的字节序列。 消息系统中有两种常用的传输协议点对点模型和发布订阅模型。这两种协议Kafka 都支持。 点对点模型也叫消息队列模型。一个系统发送方发送的消息只能被指定接收方接收其他任何系统都不能再读取 发送的消息。 发布 / 订阅模型有一个主题Topic的概念发送方也称为发布者Publisher接收方称为订阅者Subscriber。和点对点模型不同的是这个模型可能存在多个发布者向相同的主题发送消息而订阅者也可能存在多个它们都能接收到相同主题的消息。举个例子杂志订阅就是一种典型的发布 / 订阅模型不同的居民可以订阅相同的杂志。 Kafka 的基本概念和结构 生产者和消费者 学习 kafka 首先要明白其涉及的概念和术语这是进入 Kafka 世界的门票。 作为一款消息系统Kafka 提供了完整的消息发布和订阅解决方案。与其他消息系统一样在这个系统中会有生产者和消费者以及 Topic 的角色。 消息(Record)信息传递的载体。生产者(Producer)向一个或多个 Topic 发布消息的应用程序。消费者(Consumer)订阅一个或多个 Topic 接收消息的应用程序。主题(Topic)发布订阅的主题同类型消息存储在同样的主题中是一个逻辑上的划分区分不同的业务。 消费者和生产者都是客户端Clients既然有客户端就有服务端。 Broker 服务端 服务实例(Broker)Kafka 的服务器端由被称为 Broker 的服务进程构成一个 Kafka 集群由多个 Broker 组成。 Broker 负责接收和处理客户端发送过来的请求以及对消息进行持久化。Broker 通常分散运行在不同的机器上这样如果集群中某一台机器宕机其他机器上的 Broker 也可以对外提供服务。这种多个 Broker 部署方式的方式保证了 Kafka 的高可用。 分片和副本 分区or 分片(Partition)。kafka 将 一个Topic 中的消息分成多份分别存储在不同的 Broker 里这每一段消息被 kafka 称为 Partition。每个 Partition 都一个有序不变的消息序列每个 Topic 下可以有多个 Partition。多个分片满足可扩展性和负载均衡。 为什么要有 Partition因为一个 Topic 中的消息可能非常多多到一台Broker存不下因此需要拆分成多段存储在不同的机器里并且这样做还能提高读写性能。 副本(Replica)Kafka 中同一条消息能够被拷贝多份冗余存储也就是副本。副本分为领导者副本Leader Replica和追随者副本Follower Replica。副本是在分区层级下的即每个分区可配置多个副本实现高可用。默认分区副本数不得超过kafka节点数多个副本满足高可用副本数量越多可靠性越高。 领导者副本Leader Replica只有Leader能对客户端提供服务。生产者总是向领导者副本写消息消费者总是从领导者副本读消息。追随者副本Follower ReplicaFollower 只能向领导者副本发送请求请求领导者把最新生产的消息发给它这样它能保持与领导者的同步不对客户端提供服务。 位移 由于 Kafka 中的消息都是增量存储的所以读取和消费消息都有一个位移的概念。 消息位移(Offset)表示 每个Partition中每条消息的位置信息是一个单调递增且不会改变的值。消费者位移(Consumer Offset)表示消费者消费的进度每个消费者都有自己的消费者位移。消费者组(Consumer Group)多个消费者实例共同组成的一个消费者组同时消费多个分区以实现高吞吐量。 最后欢迎大家提问和交流。 加入讨论群是升职加薪第一步 回复加群 点赞是一种美德如对您有帮助欢迎评论和分享感谢阅读 面试没有分库分表经验那这篇不能错过金三银四系列 2023-06-26 从二叉查找树到B*树一文搞懂搜索树的演进原创 2023-05-23 程序员停止焦虑吧原创 2023-04-24
