dz可以做视频网站吗,无需下载直接进入的网站的代码,学做缝纫的网站,百度投诉电话人工服务总部一、概述 SeaTunnel 是一个非常易用#xff0c;高性能、支持实时流式和离线批处理的海量数据处理产品#xff0c;前身是 WaterDrop #xff08;中文名#xff1a;水滴#xff09;#xff0c;自 2021年10月12日更名为 SeaTunnel 。2021年12月9日#xff0c;SeaTunnel 正式…
一、概述 SeaTunnel 是一个非常易用高性能、支持实时流式和离线批处理的海量数据处理产品前身是 WaterDrop 中文名水滴自 2021年10月12日更名为 SeaTunnel 。2021年12月9日SeaTunnel 正式通过Apache 软件基金会的投票决议以全票通过的优秀表现正式成为 Apache 孵化器项目。 2022年 3月18日社区正式发布了收个 Apache 版本 V2.1.0。 官网地址Apache SeaTunnel | Apache SeaTunnel 二、SeaTunnel 的使用场景及其特点
1、使用场景
海量数据ETL海量数据聚合多源数据处理
2、特点
简单易用灵活配置无需开发实时流式处理高性能海量数据处理能力模块化和插件化易于扩展支持利用SQL做数据处理和聚合Spark Structured Streaming支持Spark 2.x 三、SeaTunnel 的工作流程
SeaTunnel 是在 Spark 和 Flink 的基础上做了一层包装其工作流程图 其中 SeaTunnel 的引擎 Source数据源输入Transform数据处理Sink结果输出
SeaTunnel 的基本思想是控制反转的设计模式在我们日常使用中主要就是编辑配置文件再指定配置文件启动 SeaTunnel将其转换为具体的Spark或Flink任务。
四、Linux 下安装 SeaTunel 步骤
1、下载安装包
官网下载地址Apache SeaTunnel 2、上传 Linux 服务器后解压缩
命令 tar -zxvf apache-seatunnel-2.3.2-bin.tar.gz 3、下载连接器插件
从 seatunnel v2.2.0开始二进制包默认不提供连接器依赖所以第一次使用时我们需要下载连接器。
具体说明位置在/home/seaTunnel/apache-seatunnel-2.3.2/config/plugin_config 大家一定要挑选自己需要的包下载不用的注释掉
开始下载./bin/install-plugin.sh 下载的好慢随便截两张图…… 下载的jar包会存放到/home/seaTunnel/apache-seatunnel-2.3.2/connectors/seatunnel/ 手动下载地址Central Repository: org/apache/seatunnel 五、Linux 下安装 Flink
1、下载安装包
官网下载地址Downloads | Apache Flink
2、上传 Linux 服务器解压缩
命令tar -zxvf flink-1.18.0-bin-scala_2.12.tgz 3、启动时报错 【解决方法】更换启动方式 ❤️参考Flink系列解决/bin/config.sh: line 32: syntax error near unexpected token 六、SeaTunnel 实现 MySQL 跨数据库的表数据同步
1、配置 SeaTunnel 的 Flink 引擎 2、下载 MySQL 驱动jar包
1地址https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/mysql-connector-java-8.0.30.jar
2将 jar 包放到 ${SEATUNNEL_HOME}/lib 下 否则后面运行 Seatunnel 报错 3、已知 MySQL A 库中有表 A1在 B 库中创建表 B1结构与 A1 相同 4、在 ${SEATUNNEL_HOME}/conf 下创建配置文件 env {execution.parallelism 2checkpoint.interval 2000job.mode BATCH
}source {Jdbc {url jdbc:mysql://密:3306/zk_run_fact?useUnicodetruecharacterEncodingUTF8autoReconnecttrueuseSSLfalseallowMultiQueriestrueserverTimezoneAsia/Shanghaidriver com.mysql.cj.jdbc.Driveruser rootpassword 密query select * from mfrs_other_cumlative_hourly_energy limit 10}
}transform {}sink {Jdbc {url jdbc:mysql://密:3306/zk_system_config?useUnicodetruecharacterEncodingUTF8autoReconnecttrueuseSSLfalseserverTimezoneAsia/ShanghaiallowMultiQueriestruedriver com.mysql.cj.jdbc.Driveruser rootpassword 密query insert into mfrs_other_cumlative_hourly_energy_bak(other_hourly_energy_cost_id,device_id,enterprise_id,site_id,signal_id,signal_name,device_signal_type_id,energy,time_interval,create_time) values (?,?,?,?,?,?,?,?,?,?)}
}
5、指定配置文件执行 SeaTunnel 命令 ./bin/seatunnel.sh --config /home/seaTunnel/apache-seatunnel-2.3.2/config/zy_test.config -e local 6、查看测试结果
执行前 执行后 七、SeaTunnel 实现 MySQL 数据同步到 TDengine
1、编辑 ${SEATUNNEL_HOME}/config/plugin_config文件添加 TDengine 连接 2、再次执行下载插件命令 ./bin/install-plugin.sh 否则运行时报错 3、下载 TDengine 的连接驱动包
地址TDengine的连接驱动Jar包
4、将 jar 包放到 ${SEATUNNEL_HOME}/lib 下
5、指定配置文件执行 SeaTunnel ./bin/seatunnel.sh --config /home/seaTunnel/apache-seatunnel-2.3.2/config/ mysqlToTdengine.conf -e local 目前执行时报错卡在这里待解决……
