十大创意网站,宠物网站设计案例,上海企业网站seo,wordpress付款后查看内容Flink部署
一、了解它的关键组件 客户端#xff08;Client#xff09; 作业管理器#xff08;JobManager#xff09; 任务管理器#xff08;TaskManager#xff09;
我们的代码#xff0c;实际上是由客户端获取并做转换#xff0c;之后提交给 JobManger 的。所以 …Flink部署
一、了解它的关键组件 客户端Client 作业管理器JobManager 任务管理器TaskManager
我们的代码实际上是由客户端获取并做转换之后提交给 JobManger 的。所以 JobManager 就是 Flink 集群里的“领导者”对作业进行中央调度管理 而它获取到要执行的作业后会进一步处理转换然后分发任务给众多的 TaskManager。这里 的 TaskManager就是真正“干活的人”数据的处理操作都是它们来做的如图所示。 二、配置环境 部署在Linux上使用 CentOS 7 安装hadoop集群 三台节点之间配置免密关闭防火墙
1. 本地启动
1.1 下载Flink的安装包 和所对应的 scala版本存放在/opt/software
1.2 解压在bigdata1下的/opt/module目录下
tar -zxvf /opt/software/flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/
1.3 启动
进入/opt/module/flink目录下
bin/start-cluster.sh
使用jps命令查看它的进程
jps 1.4 访问web页面
在浏览器中输入 bigdata1:8081 进入web页面
1.5 关闭集群
bin/stop-cluster.sh
2.集群启动
集群启动就有了主从节点的区别Flink也是典型的 Master-Slave 架构 的分布式数据处理框架 Master 对应着 JobManager Slave 对用着 TaskManager
三台节点服务器角色分配为
节点服务器bigdata1bigdata2bigdata3角色JobManagerTaskManagerTaskManager
具体步骤如下
2.1下载并安装
与上述操作一样不展示了
2.2修改集群配置 进入conf 目录下修改flink-conf.yaml 文件中的 jobmanager.rpc.address的参数为bigdata1 指定JobManager节点 # JobManager 节点地址.
jobmanager.rpc.address: bigdata1 修改workers文件 指定TaskManager节点 bigdata2
bigdata3 优化 JobManager 和 TaskManager 配置 jobmanager.memory.process.size 对 JobManager 进程可使用到的全部内存进行配置 包括 JVM 元空间和其他开销默认为 1600M可以根据集群规模进行适当调整。 taskmanager.memory.process.size 对 TaskManager 进程可使用到的全部内存进行配置 包括 JVM 元空间和其他开销默认为 1600M可以根据集群规模进行适当调整。 taskmanager.numberOfTaskSlots 对每个 TaskManager 能够分配的 slots 数量进行配置 默认为 1可根据 TaskManager 所在的机器能够提供给 Flink 的 CPU 数量决定。所谓 slots 就是 TaskManager 中具体运行一个任务所分配的计算资源。 parallelism.default Flink 任务执行的默认并行度配置优先级低于代码中进行的并行 度配置和任务提交时使用参数进行的并行度数量配置
2.3 分发安装目录
将目录分发给其他两个节点
2.4启动集群 bin/start-cluster.sh
用jps命令查看
2.5访问web页面
3.部署模式 会话模式Session Mode 单作业模式Per-Job Mode 应用模式Application Mode
3.1 概念
3.1.1会话模式
会话模式其实最符合常规思维。我们需要先启动一个集群保持一个会话在这个会话中通过客户端提交作业如图所示。集群启动时所有资源就都已经确定所以所有提交的作业会竞争集群中的资源。
会话模式比较适合于单个规模小、执行时间短的大量作业
3.1.2 单作业模式
会话模式因为资源共享会导致很多问题所以为了更好地隔离资源我们可以考虑为每个 提交的作业启动一个集群这就是所谓的单作业Per-Job模式如图所示。
需要注意的是Flink 本身无法直接这样运行所以单作业模式一般需要借助一些资源管 理平台来启动集群比如 YARN、Kubernetes。
3.1.3 应用模式
前面提到的两种模式下应用代码都是在客户端上执行然后由客户端提交给 JobManager 的。但是这种方式客户端需要占用大量网络带宽去下载依赖和把二进制数据发送给 JobManager加上很多情况下我们提交作业用的是同一个客户端就会加重客户端所在节点的 资源消耗。
所以解决办法就是我们不要客户端了直接把应用提交到 JobManger 上运行。而这也就 代表着我们需要为每一个提交的应用单独启动一个 JobManager也就是创建一个集群。这 个 JobManager 只为执行这一个应用而存在执行结束之后 JobManager 也就关闭了这就是所 谓的应用模式如图所示。
应用模式与单作业模式都是提交作业之后才创建集群单作业模式是通过客户端来提交 的客户端解析出的每一个作业对应一个集群而应用模式下是直接由 JobManager 执行应 用程序的并且即使应用包含了多个作业也只创建一个集群。
3.2 部署 具体的查看我的另一篇CSDN的文章 大数据学习之Flink了解Flink的多种部署模式上点击查看 3.2.1独立模式Standalone
3.2.2 YARN 模式
3.2.3 K8S 模式
