个人怎么注册网站流程,app外包后期怎么维护,无锡网站制作.,新手学网页设计的网站目录 Linux本地安装kafkajava环境配置Zookeeper的安装配置Kafka的安装与配置生产与消费 Docker安装kafkaZookeeper安装Kafka安装 Linux本地安装kafka
java环境配置
1、上传jdk-8u261-linux-x64.rpm到服务器并安装#xff1a;
rpm -ivh jdk-8u261-linux-x64.rpm2、配置环境变… 目录 Linux本地安装kafkajava环境配置Zookeeper的安装配置Kafka的安装与配置生产与消费 Docker安装kafkaZookeeper安装Kafka安装 Linux本地安装kafka
java环境配置
1、上传jdk-8u261-linux-x64.rpm到服务器并安装
rpm -ivh jdk-8u261-linux-x64.rpm2、配置环境变量
vim /etc/profile 1export JAVA_HOME/usr/java/jdk1.8.0_261-amd647879
export PATH$PATH:$JAVA_HOME/bin# 生效
source /etc/profile
# 验证
java -versionZookeeper的安装配置
1、上传zookeeper-3.4.14.tar.gz到服务器
2、解压到/opt
tar -zxf zookeeper-3.4.14.tar.gz -C /opt
cd /opt/zookeeper-3.4.14/conf
# 复制zoo_sample.cfg命名为zoo.cfg
cp zoo_sample.cfg zoo.cfg
# 编辑zoo.cfg文件
vim zoo.cfg3、修改Zookeeper保存数据的目录dataDir
dataDir/var/lagou/zookeeper/data4、编辑/etc/profile
设置环境变量ZOO_LOG_DIR指定Zookeeper保存日志的位置ZOOKEEPER_PREFIX指向Zookeeper的解压目录将Zookeeper的bin目录添加到PATH中
export Z00KEEPER_PREFIX/opt/zookeeper-3.4.14
export PATH$PATH:$Z00KEEPER_PREFIx/bin
export Z00_L0G_DIR/var/lagou/zookeeper/log5、使配置生效
source /etc/profile6、验证
zkServer.sh statusKafka的安装与配置
1、上传kafka_2.12-1.0.2.tgz到服务器并解压
tar -zxf kafka_2.12-1.0.2.tgz -C /opt2、配置环境变量并生效
vim /etc/profileexport KAFKA_HOME/opt/kafka_2.12-1.0.2
export PATH$PATH:$KAFKA_HOME/bin3、配置/opt/kafka_2.12-1.0.2/config中的server.properties文件
Kafka连接Zookeeper的地址此处使用本地启动的Zookeeper实例连接地址是localhost:2181后面的 myKafka 是Kafka在Zookeeper中的根节点路径 4、启动Zookeeper
zkServer.sh start5、确认Zookeeper的状态 6、启动Kafka
进入Kafka安装的根目录执行如下命令 启动成功可以看到控制台输出的最后一行的started状态
INF0 [KafkaServer id0] started(kafka.server.KafkaServer)7、查看Zookeeper的节点 8、此时Kafka是前台模式启动要停止使用CtrlC。
如果要后台启动使用命令
kafka-server-start.sh -daemon config/server.properties查看Kafka的后台进程
ps aux | grep kafka停止后台运行的Kafka
kafka-server-stop.sh生产与消费
1、kafka-topics.sh 用于管理主题
# 列出现有的主题
kafka-topics.sh --list --zookeeper localhost:2181/myKafka
# 创建主题该主题包含一个分区该分区为Leader分区它没有Follower分区副本
kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_1 --partitions 1 --replication-factor 1
# 查看分区信息
kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# 查看指定主题的详细信息
kafka-topics.sh --zookeeper localhost:2181/myKafka -- describe --topic topic_1
# 删除指定主题
kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_12、kafka-console-producer.sh用于生产消息
# 开启生产者
kafka-console-producer.sh --topic topic_1 --broker-list localhost:90923、kafka-console-consumer.sh用于消费消息
# 开启消费者
kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1
# 开启消费者方式二从头消费不按照偏移量消费
kafka-console-consumer.sh --bootstrap-server localhost:9092 - -topic topic_1 --from-beginningDocker安装kafka
Zookeeper安装
1、拉取zookeeper 镜像
docker pull zookeeper 2、运行zookeeper 服务
docker run -d --restartalways --log-driver json-file --log-opt max-size100m --log-opt max-file2 --name zookeeper -p 2181:2181 -v /mydata/zookeeper/data:/data -v /mydata/zookeeper/conf:/conf -v /mydata/zookeeper/logs:/datalog zookeeper参数
--log-driver json-file指定日志驱动程序为json-file。json-file是一个日志驱动程序它将日志记录为JSON格式的文件。--log-opt max-size100m设置每个日志文件的最大大小为100MB。当单个日志文件达到这个大小时Docker会自动开始写入新的日志文件。--log-opt max-file2设置最多保留2个日志文件。当达到这个限制时旧的日志文件会被自动删除以保留最新的2个日志文件。--name zookeeper容器名字 -p 2181:2181映射端口 -v /mydata/zookeeper/data:/data挂载Zookeeper的数据目录存储其运行时数据包括事务日志和快照-v /mydata/zookeeper/conf:/conf挂载Zookeeper配置文件-v /mydata/zookeeper/logs:/datalog挂载Zookeeper的日志文件
日志相关的参数只是测试使用实际根据需求调整。
本机修改文件路径后
docker run -d --restartalways --log-driver json-file --log-opt max-size100m --log-opt max-file2 --name zookeeper -p 2181:2181 -v /Users/fltech/docker/zookeeper/data:/data -v /Users/fltech/docker/zookeeper/conf:/conf -v /Users/fltech/docker/zookeeper/logs:/datalog zookeeper3、验证是否启动成功
进入zookeeper容器
docker exec -it 容器id /bin/bash找到配置文件位置
cat /conf/zoo.cfg查看zookeeper状态
zkServer.sh status显示如下
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: standalone说明Zookeeper启动成功运行模式是单机版。
Kafka安装
1、拉取kafka 镜像
docker pull kafka2、运行kafka
docker run -d --log-driver json-file --log-opt max-size100m --log-opt max-file2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID0 -e KAFKA_ZOOKEEPER_CONNECT192.168.1.21:2181/kafka -e KAFKA_ADVERTISED_LISTENERSPLAINTEXT://192.168.1.21:9092 -e KAFKA_LISTENERSPLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime -v /mydata/kafka/conf:/opt/kafka/conf -v /mydata/kafka/data:/tmp/kafka-logs -v /mydata/kafka/logs:/logs wurstmeister/kafkakafka运行时指定需要的环境变量
-e KAFKA_BROKER_ID0配置BROKER_ID默认第一台是0单机模式下只能是0-e KAFKA_ZOOKEEPER_CONNECT192.168.1.21:2181/kafka配置zookeeper的地址及管理kafka的路径注意IP使用公网地址-e KAFKA_ADVERTISED_LISTENERSPLAINTEXT://192.168.1.21:909 把kafka的地址端口注册给zookeeper-e KAFKA_LISTENERSPLAINTEXT://0.0.0.0:9092 配置kafka的监听端口-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间
挂载文件根据需要
-v /mydata/kafka/conf:/opt/kafka/conf挂载配置文件
-v /mydata/kafka/data:/tmp/kafka-logs挂载数据目录存储其运行时数据包括日志文件和元数据
-v /mydata/kafka/logs:/logs挂载日志
本机修改文件路径后
docker run -d --log-driver json-file --log-opt max-size100m --log-opt max-file2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID0 -e KAFKA_ZOOKEEPER_CONNECT192.168.1.21:2181/kafka -e KAFKA_ADVERTISED_LISTENERSPLAINTEXT://192.168.1.21:9092 -e KAFKA_LISTENERSPLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime -v /Users/fltech/docker/kafka/conf:/opt/kafka/conf -v /Users/fltech/docker/kafka/data:/tmp/kafka-logs -v /Users/fltech/docker/kafka/logs:/logs wurstmeister/kafka验证是否启动成功
进入容器
docker exec -it kafka1 bash到保存脚本的目录
cd /opt/kafka_2.13-2.7.1/bin创建一个topic
/opt/kafka_2.13-2.7.1/bin kafka-topics.sh --create --zookeeper 192.168.1.21:2181/kafka --replication-factor 1 --partitions 1 --topic topicDemo
Created topic topicDemo.能够成功创建说明安装成功。
