免费的行情网站推荐下载安装,2000做网站贵么,杭州seo网,织梦如何一个后台做两个网站前言 今天来学习一下 DolphinScheduler #xff0c;这是一个任务调度工具#xff0c;现在用的比较火爆。 1、安装部署
1.0、准备工作
1.0.1、集群规划
dolphinscheduler 比较吃内存#xff0c;所以尽量给 master 节点多分配一点内存#xff0c;桌面和虚拟机里能关的应用…前言 今天来学习一下 DolphinScheduler 这是一个任务调度工具现在用的比较火爆。 1、安装部署
1.0、准备工作
1.0.1、集群规划
dolphinscheduler 比较吃内存所以尽量给 master 节点多分配一点内存桌面和虚拟机里能关的应用程序就关了 hadoop102 master,workerhadoop103workerhadoop104worker
这里的 master 原本应该装至少两台确保 HA但是这里只是学习使用考虑到内存的问题就只装一台了。
1.0.2、前置工作
三台节点全部安装 JDK1.8并配置环境变量、MySQL5.7、Zookeeper3.4.6、psmisc
# 没装 psmisc 的用下面的命令在三台节点都装一遍
sudo yum install -y psmisc
1.0.3、解压
注意这里解压不是直接解压到安装目录这只是一个临时目录我们待会会用 dolphinscheduler 自带的一键部署脚本去分布式安装。这里需要把它安装在一个临时目录并进行一些配置。
# 直接解压到当前目录 /opt/software
tar -zxvf apache-dolphinscheduler-2.0.5-bin
手欠 如果安装过程中手欠不小心用 root 用户上传的软件包需要重新修改一下软件包或者已安装的目录的所有者和所属组不然后患无穷安装或者启动过程得反复输入用户密码
chown -R 用户名 dolphinscheduler的安装目录chgrp -R :用户组 dolphinscheduler的安装
1.1、创建数据库及用户
# 创建数据库
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
# 创建用户
CREATE USER dolphinscheduler% IDENTIFIED BY dolphinscheduler;
# 如果报错ERROR 1819 (HY000): Your password does not satisfy the current policy requirements 就执行下面的配置
# 设置密码强度为 0 (只校验长度,强度1和2还会校验密码内容)
set global validate_password_policy0;
# 设置密码最低长度
set global validate_password_length4;
# 赋予 dolphinscheduler 用户操作 dolphinscheduler 数据库的权限
grant all privileges on dolphinscheduler.* to dolphinscheduler%;
# 刷新权限
flush privileges;
1.2、配置一键部署脚本
这里配置省略配置还是比较简单的看着注释就可以自己配置。
1.3、初始化数据库
拷贝 mysql 驱动我用的 8.0.16版本的到 dolphinscheduler lib 目录下虽然我的数据库是 5.7.31 但是这个驱动是向下兼容的。
script/create-dolphinscheduler.sh
1.4、一键部署
先启动 Zookeeper 和 Hadoop然后
./install.sh
安装好之后dolphinscheduler 自动就启动了可以跳过步骤 5 直接去看 Web UI。
1.5、启动/停止 dolphinScheduler 服务
注意尽量在启动的时候使用 ./ 标识是当前路径下的 start-all.sh 或者 stop-all.sh 防止和 hadoop 的启停命令混淆
./start-all.sh
./stop-all.sh bin 目录下还有一个脚本叫做 dolphinscheduler-daemon.sh 可以直接调用查看它的使用方法
[lyhhadoop102 bin]$ ./dolphinscheduler-daemon.sh
Usage: dolphinscheduler-daemon.sh (start|stop|status) api-server|master-server|worker-server|alert-server|standalone-server|python-gateway-server我们可以通过参数来指定启动或者关闭某个特定的服务
./dolphinscheduler-daemon.sh start master-server
1.6、查看 UI 界面
打开
http://hadoop102:12345/dolphinscheduler 2、基本使用
2.1、安全配置中心
2.1.1、Yarn 队列管理 这里地方有一个 “创建队列” 按钮但是它并不会帮我们在 Yarn 中创建队列而是在这里创建一个队列供我们的任务指定在 Yarn 上运行任务需要指定在哪个队列里跑这里创建的队列必须对应 Yarn 上得存在不然会报错 只有 MR 、Spark 、Flink 等程序需要 “队列” 参数才使用。
2.1.2、租户管理 能够为多个用户提供相互隔离的资源服务就称为多租户的服务比如我们的 HDFS、Yarn 都是可以被多个用户一起使用的 。DolphinScheduler 在帮我们向 Yarn 中提交任务的时候也需要有身份用户才能提交。
注意这里租户指的是我们 DolphinScheduler 的 Worker 节点的租户因为最终任务是 Worker 去提交任务的每个 Worker 在不同的节点上所以将来提交任务的时候该 Worker 节点得有该用户才行。 如果提交任务后发现并没有这个 linux 用户默认会任务失败。但是也可以通过配置 workers.properties 文件中的 worker.ernant.auto.createtrue默认为 false实现当 linux 中不存在该用户时自动创建该用户。这个参数要求启动 worker 进程的用户具备免密运行 sudo 命令的权限。 2.1.3、用户管理 用户对应的是 DolphinScheduler 的用户用于登录 DolphinScheduler。用户分为管理员和普通用户两种。
管理员有授权和用户管理的权限但是没有创建项目和工作流定义的操作权限。
普通用户可以创建项目和对工作流定义的创建、编辑、执行等操作。
注意当前的安全中心的配置只能管理员用户来操作 2.1.4、告警组管理和告警实例管理
关系一个告警组可以包含多个告警实例。 一个告警实例中包含一个接受告警信息的人的信息比如微信、钉钉、飞书、邮件等。一个告警组包含很多个告警实例所以当我们的任务出现问题的时候该任务指定的告警组的所有告警实例都会收到消息。 2.1.5、Worker 分组管理
一个 Worker 可以属于不同的分组注意这里的组名 default 和我们的Yarn没有半毛钱关系它只是在我们没有指定组名时的一个默认分组就像我们的Kafka消费者组。 同样我们也可以通过设置 worker.properties 配置文件来添加或修改 worker 组。
2.1.6、环境管理 这里指的是 Worker 运行任务时的环境比如我们在执行一个 Hive 命令的时候hive -e insert overwrite table xxx select xxx我们的脚本需要导入环境变量不然找不到这个命令比如 hive 脚本需要导入 hive 的bin目录到 PATH 中。 这样一个 worker 组就有了多个不同环境的 worker 节点到时候跑任务的时候我们就可以直接找一个具有该执行所需环境的节点即可。
2.1.7、令牌管理 令牌用于通过接口访问 DolphinScheduler 各项服务时的用户验证。我们普通用户通过 UI 访问 DolphinScheduler 的时候不需要令牌。但是如果通过第三方接口去访问就必须使用令牌了。
