苏州相城做网站的,做网店好还是网站好,深圳小程序开发官网,flash教程一、Yarn资源调度器
思考#xff1a;
1#xff09;如何管理集群资源#xff1f;
2#xff09;如何给任务合理分配资源#xff1f;
Yarn 是一个资源调度平台#xff0c;负责为运算程序提供服务器运算资源#xff0c;相当于一个分布式的操作系统平台。
而 MapReduce … 一、Yarn资源调度器
思考
1如何管理集群资源
2如何给任务合理分配资源
Yarn 是一个资源调度平台负责为运算程序提供服务器运算资源相当于一个分布式的操作系统平台。
而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。
1.1 Yarn基础架构
YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成。 ResourceManagerRM 处理客户端请求监控NodeManager资源的分配与调度启动或监控ApplicationMasterNodeManagerNM 管理单个节点上的资源处理来自ResourceManager的命令处理来自ApplicationMaster的命令ApplicationMaster 为应用程序申请资源并分配给内部的任务任务的监控与容错Container Container是 YARN中的资源抽象它封装了某个节点上的多维度资源如内存、CPU、磁 盘、网络等。
1.2 Yarn工作机制 MR 程序提交到客户端所在的节点。YarnRunner 向 ResourceManager 申请一个 Application。RM 将该应用程序的资源路径返回给 YarnRunner。该程序将运行所需资源提交到 HDFS 上。程序资源提交完毕后申请运行 mrAppMaster。RM 将用户的请求初始化成一个 Task。其中一个 NodeManager 领取到 Task 任务。该 NodeManager 创建容器 Container并产生 MRAppmaster。Container 从 HDFS 上拷贝资源到本地。MRAppmaster 向 RM 申请运行 MapTask 资源。RM 将运行 MapTask 任务分配给另外两个 NodeManager另两个 NodeManager 分别领取任务并创建容器。MR 向两个接收到任务的 NodeManager 发送程序启动脚本这两个 NodeManager分别启动 MapTaskMapTask 对数据分区排序。MrAppMaster 等待所有 MapTask 运行完毕后向 RM 申请容器运行 ReduceTask。ReduceTask 向 MapTask 获取相应分区的数据。程序运行完毕后MR 会向 RM 申请注销自己。
1.3 作业提交全过程
HDFS、YARN、MapReduce三者关系 作业提交过程之YARN 作业提交过程之HDFS MapReduce 作业提交全过程详解
1作业提交
第 1 步Client 调用 job.waitForCompletion 方法向整个集群提交 MapReduce 作业。
第 2 步Client 向 RM 申请一个作业 id。
第 3 步RM 给 Client 返回该 job 资源的提交路径和作业 id。
第 4 步Client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。
第 5 步Client 提交完资源后向 RM 申请运行 MrAppMaster。
2作业初始化
第 6 步当 RM 收到 Client 的请求后将该 job 添加到容量调度器中。
第 7 步某一个空闲的 NM 领取到该 Job。第 8 步该 NM 创建 Container并产生 MRAppmaster。第 9 步下载 Client 提交的资源到本地。
3任务分配
第 10 步MrAppMaster 向 RM 申请运行多个 MapTask 任务资源。
第 11 步RM 将运行 MapTask 任务分配给另外两个 NodeManager另两个 NodeManager分别领取任务并创建容器。
4任务运行
第 12 步MR 向两个接收到任务的 NodeManager 发送程序启动脚本这两个NodeManager 分别启动 MapTaskMapTask 对数据分区排序。
第13步MrAppMaster等待所有MapTask运行完毕后向RM申请容器运行ReduceTask。
第 14 步ReduceTask 向 MapTask 获取相应分区的数据。
第 15 步程序运行完毕后MR 会向 RM 申请注销自己。
5进度和状态更新
YARN 中的任务将其进度和状态(包括 counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval 设置)向应用管理器请求进度更新, 展示给用户。
6作业完成
除了向应用管理器请求作业进度外, 客户端每 5 秒都会通过调用 waitForCompletion()来检查作业是否完成。
时间间隔可以通过 mapreduce.client.completion.pollinterval 来设置。
作业完成之后, 应用管理器和 Container 会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。
1.4 Yarn调度器和调度算法
目前Hadoop 作业调度器主要有三种FIFO、容量Capacity Scheduler和公平FairScheduler。
Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。CDH 框架默认调度器是 Fair Scheduler。具体设置详见yarn-default.xml 文件
1.4.1 先进先出调度器
FIFO 调度器First In First Out单队列根据提交作业的先后顺序先来先服务。 优点简单易懂
缺点不支持多队列生产环境很少使用
1.4.2 容量调度器
Capacity Scheduler 是 Yahoo 开发的多用户调度器。 多队列每个队列可配置一定的资源量每个队列采用FIFO调度策略。容量保证管理员可为每个队列设置资源最低保证和资源使用上限灵活性如果一个队列中的资源有剩余可以暂时共享给那些需要资源的队列而一旦该队列有新的应用程序提交则其他队列借调的资源会归还给该队列。多租户支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源该调度器会对同一用户提交的作业所占资源量进行限定。 1队列资源分配
从root开始使用深度优先算法优先选择资源占用率最低的队列分配资源。
2作业资源分配
默认按照提交作业的优先级和提交时间顺序分配资源。
3容器资源分配
按照容器的优先级分配资源如果优先级相同按照数据本地性原则
1任务和数据在同一节点
2任务和数据在同一机架
3任务和数据不在同一节点也不在同一机架
1.4.3 公平调度器
Fair Schedulere 是 Facebook 开发的多用户调度器。 1与容量调度器相同点
1多队列支持多队列多作业
2容量保证管理员可为每个队列设置资源最低保证和资源使用上线
3灵活性如果一个队列中的资源有剩余可以暂时共享给那些需要资源的队列而一旦该队列有新的应用程序提交则其他队列借调的资源会归还给该队列。
4多租户支持多用户共享集群和多应用程序同时运行为了防止同一个用户的作业独占队列中的资源该调度器会对同一用户提交的作业所占资源量进行限定。
2与容量调度器不同点
1核心调度策略
容量调度器优先选择资源利用率低的队列公平调度器
优先选择对资源的缺额比例大的
2每个队列可以单独设置资源分配方式
容量调度器FIFO、 DRF
公平调度器FIFO、FAIR、DRF 公平调度器设计目标是在时间尺度上所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”•
调度器会优先为缺额大的作业分配资源。
公平调度器队列资源分配方式
1FIFO策略
公平调度器每个队列资源分配策略如果选择FIFO的话此时公平调度器相当于上面讲过的容量调度器。
2Fair策略
Fair 策略默认是一种基于最大最小公平算法实现的资源多路复用方式默认情况下每个队列内部采用该方式分配资源。这意味着如果一个队列中有两个应用程序同时运行则每个应用程序可得到1/2的资源如果三个应用程序同时运行则每个应用程序可得到1/3的资源。
具体资源分配流程和容量调度器一致1选择队列2选择作业3选择容器
以上三步每一步都是按照公平策略分配资源 实际最小资源份额mindshare Min资源需求量配置的最小资源是否饥饿isNeedy 资源使用量 mindshare实际最小资源份额资源分配比minShareRatio 资源使用量 / Maxmindshare, 1资源使用权重比useToWeightRatio 资源使用量 / 权重
1.5 Yarn常用命令
Yarn 状态的查询除了可以在 hadoop103:8088 页面查看外还可以通过命令操作。常见的命令操作如下所示
1.5.1 yarn application查看任务
1列出所有 Application
yarn application -list
2根据 Application 状态过滤yarn application -list -appStates 所有状态ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED
yarn application -list -appStates
3Kill 掉 Application
yarn application -killapplication_1612577921195_0001
1.5.2 yarn logs查看日志
1查询 Application 日志yarn logs -applicationId
yarn logs -applicationIdapplication_1612577921195_0001
2查询 Container 日志yarn logs -applicationId -containerId
yarn logs -applicationIdapplication_1612577921195_0001 -containerIdcontainer_1612577921195_0001_01_000001
1.5.3 yarn application attempt 查看尝试运行的任务
1列出所有 Application 尝试的列表yarn applicationattempt -list
yarn applicationattempt -listapplication_1612577921195_0001
2打印 ApplicationAttemp 状态yarn applicationattempt -status
yarn applicationattempt -statusappattempt_1612577921195_0001_000001
1.5.4 yarn container 查看容器
1列出所有 Containeryarn container -list
yarn container -listappattempt_1612577921195_0001_000001
2打印 Container 状态yarn container -status
yarn container -statuscontainer_1612577921195_0001_01_000001
1.5.5 yarn node 查看节点状态
列出所有节点yarn node -list -all
yarn node -list -all
1.5.6 yarn rmadmin更新配置
加载队列配置yarn rmadmin -refreshQueues
yarn rmadmin -refreshQueues
1.5.7 yarn queue查看队列
打印队列信息yarn queue -status
yarn queue -status default
1.6 Yarn生产环境核心参数 1ResourceManager相关
yarn.resourcemanager.scheduler.class 配置调度器默认容量yarn.resourcemanager.scheduler.client.thread-count ResourceManager处理调度器请求的线程数量默认50
2NodeManager相关
yarn.nodemanager.resource.detect-hardware-capabilities 是否让yarn自己检测硬件进行配置默认falseyarn.nodemanager.resource.count-logical-processors-as-cores 是否将虚拟核数当作CPU核数默认falseyarn.nodemanager.resource.pcores-vcores-multiplier 虚拟核数和物理核数乘数例如4核8线程该参数就应设为2默认1.0
yarn.nodemanager.resource.memory-mb NodeManager使用内存默认8Gyarn.nodemanager.resource.system-reserved-memory-mb NodeManager为系统保留多少内存
yarn.nodemanager.pmem-check-enabled 是否开启物理内存检查限制container默认打开yarn.nodemanager.vmem-check-enabled 是否开启虚拟内存检查限制container默认打开yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例默认2.1
3Container相关
yarn.scheduler.minimum-allocation-mb 容器最最小内存默认1Gyarn.scheduler.maximum-allocation-mb 容器最最大内存默认8Gyarn.scheduler.minimum-allocation-vcores 容器最小CPU核数默认1个yarn.scheduler.maximum-allocation-vcores 容器最大CPU核数默认4个
