小学网站建设及使用,建p2p网站,关键词搜索排名公司,凌云网小说集群角色
Flink提交作业和执行任务#xff0c;需要几个关键组件#xff1a; 客户端#xff1a;代码由客户端获取并作转换#xff0c;之后提交给Jobmanager Jobmanager就是Flink集群的管事人#xff0c;对作业进行中央调度管理#xff1b;当从客户端获取到转换过的作业后…集群角色
Flink提交作业和执行任务需要几个关键组件 客户端代码由客户端获取并作转换之后提交给Jobmanager Jobmanager就是Flink集群的管事人对作业进行中央调度管理当从客户端获取到转换过的作业后会进一步进行处理然后分发给众多的taskmanager Taskmanager:真正干活的人数据的处理操作都是它们来做 部署模式
在一些应用场景中对于集群资源分配和占用的方式可能会有特定的需求。Flink为各种场景提供了不同的部署模式主要有以下三种会话模式Session Mode、单作业模式Per-Job Mode、应用模式Application Mode。 它们的区别主要在于集群的生命周期以及资源的分配方式、以及应用的main方法到底在哪里执行——客户端Client还是JobManager。
会话模式Session Mode
会话模式其实是最符合常规思维模式。我们需要先启动一个集群保持一个会话在这个会话中通过客户端提交作业。集群启动时所有资源已经确定所以所有提交的作业会竞争集群中的资源。 会话模式适合单个规模小、执行时间短的大量作业。
单作业模式Per-job Mode
会话模式会因为资源共享导致很多问题所以为了更好地隔离资源我们可以考虑为每个提交的作业启动一个集群这就是所谓的单作业模式。 作业完成后集群就会被关闭所有资源也会释放。 Flink本身无法直接这样运行需要借助资源管理框架yarn、K8S
应用模式Applicaiton Mode
上面两种模式应用代码都是在客户端执行然后提交给jobmanager。这种方式会占用客户端大量网络带宽加重客户端资源消耗。 解决办法不要客户端了直接把应用提交给jobmanager也就意味着我们需要为每一个应用单独启动一个jobmanager也就是创建一个集群这个jm只为这一个应用而存在执行结束后jm也就关闭了。
和单作业模式的区别和联系就是他们都是提交作业后才创建集群单作业模式通过客户端提交作业客户端解析出的每一个作业对应一个集群而应用模式下是由jobmanager直接执行应用程序的。
Yarn运行模式
YARN上部署的过程是客户端把Flink应用提交给Yarn的ResourceManagerYarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上Flink会部署JobManager和TaskManager的实例从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。
