最专业的网站设计平台,广告创意设计是什么,如何汉化wordpress插件,网站开发专业主修课程1.上传安装包到linux系统上面 2.解压安装包到安装目录下#xff0c;并且重命名
[rootVM-4-10-centos package]# tar -zxvf maxwell-1.29.2.tar.gz -C /opt/software/3.配置mysql
增加以下配置
#数据库id
server-id 1
#启动binlog#xff0c;该参数的值会作为binlog的文件…1.上传安装包到linux系统上面 2.解压安装包到安装目录下并且重命名
[rootVM-4-10-centos package]# tar -zxvf maxwell-1.29.2.tar.gz -C /opt/software/3.配置mysql
增加以下配置
#数据库id
server-id 1
#启动binlog该参数的值会作为binlog的文件名
log-binmysql-bin
#binlog类型maxwell要求为row类型
binlog_formatrow
#启用binlog的数据库需根据实际情况作出修改
binlog-do-db financial_lease查看binlog是否开启
show variables like log_%;我们需要关注的是输出结果的第一行可以看到log_bin对应的值是ON所以binlog已经开启。
4. 创建Maxwell所需数据库和用户
Maxwell需要在MySQL中存储其运行过程中的所需的一些数据包括binlog同步的断点位置Maxwell支持断点续传等等故需要在MySQL为Maxwell创建数据库及用户。
注意创建的Maxwell数据库为maxwell元数据库maxwell不会监测元数据库数据变化所以业务数据不要创建在元数据库内不然不会监测到数据变化maxwell也不会报错
创建数据库
msyql CREATE DATABASE maxwell;创建Maxwell用户并赋予其必要权限
mysql CREATE USER maxwell% IDENTIFIED BY maxwell;
mysql GRANT ALL ON maxwell.* TO maxwell%;
mysql GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO maxwell%;5.配置Maxwell
修改Maxwell配置文件名称
[rootVM-4-10-centos software]# cd maxwell/
[rootVM-4-10-centos maxwell]# cp config.properties.example config.properties修改Maxwell配置文件
#Maxwell数据发送目的地可选配置有stdout|file|kafka|kinesis|pubsub|sqs|rabbitmq|redis
producerkafka
# 目标Kafka集群地址
kafka.bootstrap.servers101.91.153.39:9092,61.171.111.6:9092,61.171.100.138:9092
#目标Kafka topic可静态配置例如:maxwell也可动态配置例如%{database}_%{table}
kafka_topicmaxWellData# MySQL相关配置
host10.0.4.10
usermaxwell
passwordmaxwell
jdbc_optionsuseSSLfalseserverTimezoneAsia/ShanghaiallowPublicKeyRetrievaltrue# 指定数据按照主键分组进入Kafka不同分区避免数据倾斜
producer_partition_byprimary_key6.启动Kafka集群
7.启动Maxwell
先把采集到的数据打印到控制台测试maxwell应用是否正常
[rootVM-4-10-centos maxwell]# bin/maxwell --usermaxwell \--passwordmaxwell \--host10.0.4.10 \--producerstdout打印正常后重新启动打印到kafka
[rootVM-4-10-centos maxwell]# bin/maxwell --config config.properties --daemon消费kafka对应topic发现正常
[zhangflink9wmwtivvjuibcd2e kafka]$ bin/kafka-console-consumer.sh --bootstrap-server flinkv1:9092 --from-beginning --topic maxWellData
