网站开发代码编辑器,wordpress产品模板,定制做网站设计,网站建设的营业执照Apache DolphinScheduler已支持Apache SeaTunnel任务类型#xff0c;本文介绍了SeaTunnel任务类型如何创建#xff0c;任务参数#xff0c;以及任务样例。
一、Apache SeaTunnel
SeaTunnel 任务类型#xff0c;用于创建并执行 SeaTunnel 类型任务。worker 执行该任务的时…
Apache DolphinScheduler已支持Apache SeaTunnel任务类型本文介绍了SeaTunnel任务类型如何创建任务参数以及任务样例。
一、Apache SeaTunnel
SeaTunnel 任务类型用于创建并执行 SeaTunnel 类型任务。worker 执行该任务的时候会通过 start-seatunnel-spark.sh 、 start-seatunnel-flink.sh 和 seatunnel.sh 命令解析 config 文件。
二、创建任务
点击项目管理 - 项目名称 - 工作流定义点击“创建工作流”按钮进入 DAG 编辑页面拖动工具栏的 任务节点到画板中。三、任务参数 启动脚本选择你想要运行任务的启动脚本包括 seatunnel.sh, start-seatunnel-flink-13-connector-v2.sh, start-seatunnel-flink-15-connector-v2.sh, start-seatunnel-flink-connector-v2.sh, start-seatunnel-flink.sh, start-seatunnel-spark-2-connector-v2.sh, start-seatunnel-spark-3-connector-v2.sh, start-seatunnel-spark-connector-v2.sh, start-seatunnel-spark.shFLINK运行模型支持 run 和 run-application 两种模式选项参数用于添加 Flink 引擎本身参数例如 -m yarn-cluster -ynm seatunnelSPARK部署方式指定部署模式cluster clientMaster指定 Master 模型yarn local spark mesos其中 spark 和 mesos 需要指定 Master 服务地址例如127.0.0.1:7077SEATUNNEL_ENGINE部署方式指定部署模式cluster local自定义配置支持自定义配置或从资源中心选择配置文件脚本在任务节点那自定义配置信息包括四部分env source transform sink四、任务样例 该样例演示为使用 Flink 引擎从 Fake 源读取数据打印到控制台。
1.在 DolphinScheduler 中配置 SeaTunnel 环境 若生产环境中要是使用到 SeaTunnel 任务类型则需要先配置好所需的环境配置文件如下/dolphinscheduler/conf/env/dolphinscheduler_env.sh。 2.配置 SeaTunnel 任务节点 根据上述参数说明配置所需的内容即可。 Config 样例
env {execution.parallelism 1
}source {FakeSource {result_table_name fakefield_name name,age}
}transform {sql {sql select name,age from fake}
}sink {ConsoleSink {}
}
————————————————
版权声明本文为博主原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接和本声明。
原文链接https://blog.csdn.net/zhengzaifeidelushang/article/details/136685864 本文由 白鲸开源科技 提供发布支持
