代发网站建设教程,app与移动网站开发资料,辽宁模板网站建设公司,相亲网站如何做自我介绍文章目录 从零开始掌握Kafka一、Kafka 基础知识理解#xff08;理论#xff09;1. 核心组件与架构2. 重点概念解析 二、Kafka 面试重点知识梳理三、C 使用 Kafka 的实践#xff08;librdkafka#xff09;1. librdkafka 简介2. 安装 librdkafka 四、实战#xff1a;高吞吐生… 文章目录 从零开始掌握Kafka一、Kafka 基础知识理解理论1. 核心组件与架构2. 重点概念解析 二、Kafka 面试重点知识梳理三、C 使用 Kafka 的实践librdkafka1. librdkafka 简介2. 安装 librdkafka 四、实战高吞吐生产者与消费者1. 生产者示例Producer.cpp2. 消费者示例Consumer.cpp 五、Kafka 开发相关 C 能力要求必备 C 能力推荐工具链 六、项目实践建议1. 项目目标2. 模块设计建议 七、推荐资料与开源项目 从零开始掌握Kafka
一、Kafka 基础知识理解理论
1. 核心组件与架构
组件作用BrokerKafka 节点负责存储消息Topic消息主题逻辑上的分类Partition一个 Topic 的分片支持并发与扩展性Producer负责发送消息Consumer负责消费消息Consumer Group多消费者协作消费Zookeeper / KRaft负责元数据与协调未来版本转向 KRaft 模式
2. 重点概念解析 Partition分片支持水平扩展每个 partition 是一个有序日志。 副本机制Replication每个 Partition 有一个 leader N 个 follower保证高可用。 消费者组Consumer GroupKafka 实现广播和负载均衡消费的机制。 offset 管理 自动提交enable.auto.commit手动提交commitSync / commitAsyncKafka 默认 offset 存在 __consumer_offsets topic 中。 二、Kafka 面试重点知识梳理
面试点说明消息顺序性同一个 partition 内有顺序跨 partition 无法保证幂等性生产使用 enable.idempotencetrue避免 producer 重试造成重复发送分布式一致性ISR 机制消息写入需同步到 followerACKall 实现强一致消费位点提交手动提交 offset 是保证消费语义精确一次的关键Rebalance 原理消费者上下线会触发 Rebalance导致 partition 分配变化 三、C 使用 Kafka 的实践librdkafka
1. librdkafka 简介 官方提供的高性能 C/C Kafka 客户端库。 GitHub 地址https://github.com/edenhill/librdkafka 支持 高吞吐的生产与消费offset 提交topic/partition 管理幂等发送、压缩、批处理
2. 安装 librdkafka
# Ubuntu
sudo apt-get install librdkafka-dev# Or from source
git clone https://github.com/edenhill/librdkafka.git
cd librdkafka
./configure
make
sudo make install四、实战高吞吐生产者与消费者
1. 生产者示例Producer.cpp
#include librdkafka/rdkafkacpp.hclass ExampleDeliveryReportCb : public RdKafka::DeliveryReportCb {
public:void dr_cb(RdKafka::Message message) override {if (message.err()) {std::cerr Delivery failed: message.errstr() std::endl;} else {std::cout Delivered message to message.topic_name() [ message.partition() ] at offset message.offset() std::endl;}}
};int main() {std::string errstr;std::string topic test_topic;RdKafka::Conf *conf RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL);conf-set(bootstrap.servers, localhost:9092, errstr);ExampleDeliveryReportCb dr_cb;conf-set(dr_cb, dr_cb, errstr);RdKafka::Producer *producer RdKafka::Producer::create(conf, errstr);delete conf;for (int i 0; i 10000; i) {std::string message Message std::to_string(i);producer-produce(topic, RdKafka::Topic::PARTITION_UA,RdKafka::Producer::RK_MSG_COPY,const_castchar *(message.c_str()), message.size(),nullptr, 0, 0, nullptr);producer-poll(0); // 异步发送需要poll触发回调}producer-flush(10000); // 等待所有消息发送完成delete producer;
}2. 消费者示例Consumer.cpp
#include librdkafka/rdkafkacpp.hint main() {std::string errstr;RdKafka::Conf *conf RdKafka::Conf::create(RdKafka::Conf::CONF_GLOBAL);conf-set(bootstrap.servers, localhost:9092, errstr);conf-set(group.id, my_group, errstr);conf-set(enable.auto.commit, false, errstr); // 手动提交RdKafka::KafkaConsumer *consumer RdKafka::KafkaConsumer::create(conf, errstr);delete conf;std::vectorstd::string topics {test_topic};consumer-subscribe(topics);while (true) {RdKafka::Message *msg consumer-consume(1000);switch (msg-err()) {case RdKafka::ERR_NO_ERROR:std::cout Read msg at offset msg-offset() : static_castconst char *(msg-payload()) std::endl;consumer-commitAsync(msg); // 或 commitSync(msg)break;case RdKafka::ERR__TIMED_OUT:break;default:std::cerr Error: msg-errstr() std::endl;}delete msg;}consumer-close();delete consumer;
}五、Kafka 开发相关 C 能力要求
必备 C 能力
熟练使用 RAII、智能指针、异常处理理解线程安全、异步模型poll, callback能够结合 JSON/XML 配置 Kafka 客户端编写模块化、高性能的消息收发组件
推荐工具链
构建系统CMake日志spdlog 或 glog单元测试gtestJSONnlohmann/json 六、项目实践建议
1. 项目目标
构建一个 C Kafka 模块支持
高吞吐量生产批量发送压缩幂等性保障多线程消费 位点提交策略简单的失败重试机制支持 JSON 格式的序列化消息
2. 模块设计建议
模块功能KafkaProducer封装 Producer 初始化/发送逻辑KafkaConsumer封装 Consumer offset 管理ConfigManager读取配置Message消息封装与解析支持 JSON 七、推荐资料与开源项目 Kafka 权威指南原书第2版 librdkafka 文档 Apache Kafka 官方文档 开源项目参考 confluent-kafka-cppcppkafka封装更现代 C
