陕西网站建设电话,做一个公司网站多少钱,巴中哪里做网站,北京seo推广公司上手第一关#xff0c;手把手教你安装kafka与可视化工具kafka-eagle 一、环境与下载二、安装三、启动1. 启动ZK2. 启动Kafka 四、可视化工具 EFAK(kafka-eagle)1. kafka开启JMX2. 下载及配置3. 启动故障及解决① 错误信息 C:\Program is not recognized as an internal or ext… 上手第一关手把手教你安装kafka与可视化工具kafka-eagle 一、环境与下载二、安装三、启动1. 启动ZK2. 启动Kafka 四、可视化工具 EFAK(kafka-eagle)1. kafka开启JMX2. 下载及配置3. 启动故障及解决① 错误信息 C:\Program is not recognized as an internal or external command② tomcat 启动乱码③ mysql 时区值异常④ 表缺失 3. 启动与登录 总结 终于又开新专栏啦其实是填坑相信很多同学对kafka都有一定的了解了我们以前在RabbitMQ的选型中也提到过两者的对比那么今天我们就正式开始Kafka的学习吧老规矩先来一篇手把手安装教程因为后续主要是用于自身学习所以还是以windows的安装为例 作者简介战斧从事金融IT行业有着多年一线开发、架构经验爱好广泛乐于分享致力于创作更多高质量内容 本文收录于 kafka 专栏有需要者可直接订阅专栏实时获取更新 高质量专栏 云原生、RabbitMQ、Spring全家桶 等仍在更新欢迎指导 Zookeeper Redis dubbo docker netty等诸多框架以及架构与分布式专题即将上线敬请期待 一、环境与下载
在进行后续步骤前需要保证环境中已经安装并配置了JDK存在JDK后再进行kafka的下载
我们可以通过kafka其官网https://kafka.apache.org/downloads 来进行下载目前的发布版本为3.5.1且推荐的Scala版本2.13那我们此次就用这个版本。 当然笔者也知道很多小伙伴打不开网页所以笔者也把这份包给上传上来了如果没被CSDN下架的话点此下载
二、安装
解压后请务必将其放在目录较浅的位置否则在后续执行命令时可能会提示输入行太长如下我们不仅将其解压后的文件直接放在E盘根目录而且缩写了其名字。
此时我们来到它目录下的bin目录bin目录本级存的是在linux下的运行脚本其下还有个windows子目录
在该windos目录下就是windows使用的批处理脚本了 我们都知道 kafka 的运行需要 Zookeeper 但是不需要我们额外安装其本身就包含了Zookeeper的服务 三、启动
启动Kafka有两个必要的服务Zookeeper 和 Kafka 本身。
1. 启动ZK
在Kafka的根目录中进入config目录。您将看到一个名为zookeeper.properties的文件。
使用文本编辑器打开该文件并更改dataDir的值即ZK数据的存储位置例如 在保存过后我们回到ZK启动脚本的目录下并在目录位置输入cmd回车进入命令行 然后在命令行中输入 以下命令来启动 ZK
zookeeper-server-start.bat ../../config/zookeeper.properties如果没有报错就是启动成功了。
2. 启动Kafka
在Kafka的根目录中进入config目录您将看到一个名为server.properties的文件。 使用文本编辑器打开该文件并更改以下参数的值
broker.id每台Kafka服务器需要一个唯一的broker.id值。 listenersKafka默认使用9092端口可以更改此端口。 log.dirsKafka默认使用/tmp/kafka-logs作为数据存储目录可以更改此目录我们提前创建目录然后设置该目录为日志目录如下 保存并关闭文件后回到目录E:\kafka\bin\windows使用以下命令启动Kafka服务器
kafka-server-start.bat ../../config/server.propertiesKafka启动后您将看到以下输出
至此说明kafka的启用就完成了。
四、可视化工具 EFAK(kafka-eagle)
同我们在前面讲解的ZK安装一样kafka本身也没有提供可视化页面但是市面上有很多开源的可视化工具我们接下来就讲讲他们的安装及使用我们选取其中的 EFAK来说 请注意在安装EFAK之前你至少需要安装了JDK、kafka、mysql的环境后再进行后续操作。
1. kafka开启JMX
JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务实际上用户能够在任何Java应用程序中使用这些代理和服务实现管理。用人话说就是对外暴露更多数据方便某些监控之类的插件来使用
我们先要打开刚刚的kafka启动脚本 kafka-server-start.bat如下 在脚本中找到一个会执行到的位置设置JMX的端口并保存如下 做完该步骤后记得重启kafka
2. 下载及配置
我们打开它的官网http://www.kafka-eagle.org/如下 直接下载其最新版或者使用笔者上传的压缩包 https://download.csdn.net/download/u011709538/88381629 当我们将其解压缩后需要注意到如果使用其默认的启动脚本我们还需要维护两个环境变量JAVA_HOME、KE_HOME前者不必多说后者为EFAK的安装根目录在本例中为
E:\efak-web-3.0.1\efak-web-3.0.1配置好环境变量后我们还需要在数据库中选一个库或者是新建一个库笔者这边是按推荐建立了一个名为ke的库如下
然后在system-config.properties配置文件中连接该库 同时别忘记在该配置文件中还要配置kafka的JMX的地址不然是拿不到kafka的数据的 最后修改一下ZK的配置把我们上面启动的ZK的位置给他填上去填完注意保存后再关闭 最后进入EFAK的bin目录运行其 ke.bat 文件进行启动 3. 启动故障及解决
在这一步笔者的电脑出现了几个问题我们一一来说
① 错误信息 C:\Program’ is not recognized as an internal or external command
该故障如下图 经查验发现是启动脚本中存在
%JAVA_HOME%\bin\jar -xvf %KE_HOME%\kms\webapps\ke.war这样的语句因为笔者的JAVA_HOME设置路径目录Program Files存在空格导致执行命令时出现异常 所以可以把JAVA_HOME的路径中的Program Files为改为PROGRA~1即如下
② tomcat 启动乱码
运行命令实际上是执行一个war包并启动一个tomcat并弹出一个新的命令行窗口我们在tomcat 的窗口中看见大量的乱码如下 这主要是其内置的日志输出中文编码为UTF-8而命令行的编码格式默认为GBK导致的这个问题有很多方式解决笔者提供三种思路
方案一Tomcat启动时会检查本地语言环境因为笔者电脑是中文环境才会输出中文日志。实际上在生产中部署于linux环境时基本都是英文环境所以我们可以把运行参数中的语言环境设置为英文即可。
我们打开 catalina 的脚本 在日志输出的设置上指定英文输出如下图即加上
-Duser.languageen -Duser.regionUS方案二既然其日志输出编码格式为GBK那我们就修改tmacat输出日志的编码成GBK该方案需修改tomcat的日志配置文件如下 将其控制台输出的编码格式改为GBK 方案三修改我们控制台的编码此方案我们可以设置命令提示行的属性来完成操作如下
我们先打开命令行输入 chcp 65001 然后单击菜单可以看到菜单
点击属性可观察到它的编码格式 但是这样的设置仅仅是针对当前窗口的当我们启动tomcat时它会打开另一个命令窗口我们可以设法让其不会打开其他窗口而继续在本窗口输出。我们可以打开启动tomcat 的脚本 将其执行参数从 start 改为 run ,这样就不会再弹其他窗口了 ③ mysql 时区值异常
如下图在启动过程中连接mysql时在获取时区信息时出现异常这个其实在高版本mysql上很多人都遇到过如下图
我们只需要在mysql 时把时区设置一下就可以以root 用户设置时区
set global time_zone8:00;④ 表缺失
由于EFAK对数据库的控制不够精细所以可能会出现建表故障导致启动后没有建表成功此时还需要手动建表其建表脚本我已经上传可自行点击 建表脚本下载 3. 启动与登录
在解决完上述各项问题后我们成功启动了 kafka-eagle。此时可以打开http://127.0.0.1:8048/看到如下页面 输入默认的用户名admin 及密码 123456 即可进入管理页面 总结
在本篇技术博文中我们详细地教你如何安装kafka还有它的可视化工具 kafka-eagle中间也列举了一些异常以及它的处理方式真正做到了手把手教学。那么安装教学就告一段落。在后面的学习中我们将讲解他们的使用及运行原理希望同学们能喜欢
