南宁做网站比较好的公司有哪些,什么大的网站是帝国cms做的,wordpress编辑框经典,东莞微网站建设报价文章目录 测试集群环境说明Yarn 核心配置参数1. 调度器选择2. ResourceManager 调度器处理线程数量设置3. 是否启用节点功能的自动检测设置4. 是否将逻辑处理器当作物理核心处理器5. 设置物理核心到虚拟核心的转换乘数6. 设置 NodeManager 使用的内存量7. 设置 NodeManager 节点… 文章目录 测试集群环境说明Yarn 核心配置参数1. 调度器选择2. ResourceManager 调度器处理线程数量设置3. 是否启用节点功能的自动检测设置4. 是否将逻辑处理器当作物理核心处理器5. 设置物理核心到虚拟核心的转换乘数6. 设置 NodeManager 使用的内存量7. 设置 NodeManager 节点虚拟核心数量8. 设置每个容器的最小与最大内存9. 设置每个容器的最小与最大虚拟CPU核心10. 是否开启虚拟内存检查11. 设置虚拟内存与物理内存比例 配置信息查看 测试集群环境说明
服务器介绍
机器名称内网IP内存CPU承载节点master192.168.10.1044NodeManager、DataNode、NameNodeslave1192.168.10.1144NodeManager、DataNode、ResourceManagerslave2192.168.10.1244NodeManager、DataNode、SecondaryNameNode
操作系统均为CentOS 7.5
组件介绍
jdk1.8hadoop 3.1.3
Yarn 核心配置参数
1. 调度器选择
这里选用默认调度器容量调度器。
propertynameyarn.resourcemanager.scheduler.class/namevalueorg.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler/value
/property2. ResourceManager 调度器处理线程数量设置
ResourceManager 处理调度器请求的线程数量默认 50
如果提交的任务数大于 50可以增加该值但是不能超过总线程数量。
在当前测试环境中我们共配置了 3 台服务器4 核 CPU共有 12 线程但时不能直接设置为 12而应该设置为 8三分之二剩余资源保障其它应用程序的正常运行。
propertynameyarn.resourcemanager.scheduler.client.thread-count/namevalue8/value
/property3. 是否启用节点功能的自动检测设置
顾名思义就是自动检测当前系统配置自动进行资源配置默认为 false。
在该系统内没有其它应用程序运行的情况下可以开启该参数。
propertynameyarn.nodemanager.resource.detect-hardware-capabilities/namevaluefalse/value
/property4. 是否将逻辑处理器当作物理核心处理器
指定逻辑处理器虚拟核数是否应该被视为独立的核心资源默认为 false。
物理核心处理器可以给集群带来更强的处理性能而逻辑处理器能够提供更多的并发。
propertynameyarn.nodemanager.resource.count-logical-processors-as-cores/namevaluefalse/value
/property5. 设置物理核心到虚拟核心的转换乘数
默认情况下乘数为 1.0这意味着一个物理核心会被视为一个虚拟核心。
如果希望将一个物理核心映射为多个虚拟核心可以将这个值调整为大于 1 的值。
可以根据应用程序需求、资源利用率以及性能测试结果来决定是否调整这个乘数。
propertynameyarn.nodemanager.resource.pcores-vcores-multiplier/namevalue1.0/value
/property6. 设置 NodeManager 使用的内存量
用于指定每个 NodeManager 节点可以使用的内存量以兆字节MB为单位默认 8G修改为单台机器对应的内存量。
propertynameyarn.nodemanager.resource.memory-mb/namevalue4096/value
/property7. 设置 NodeManager 节点虚拟核心数量
用于指定每个 NodeManager 节点可以使用的虚拟核心数量vCores默认为 8 个修改为单台机器对应的物理核心数量。
propertynameyarn.nodemanager.resource.cpu-vcores/namevalue4/value
/property8. 设置每个容器的最小与最大内存
用于设置每个容器task或应用程序的运行实例所能够分配到的最小与最大内存量。
最小内存默认为 1024 MB
最小内存默认为 8192 MB推荐设置为系统最大内存的一半
!-- 容器最小内存--
propertynameyarn.scheduler.minimum-allocation-mb/namevalue1024/value
/property!-- 容器最大内存--
propertynameyarn.scheduler.maximum-allocation-mb/namevalue2048/value
/property9. 设置每个容器的最小与最大虚拟CPU核心
设置每个容器任务或应用程序的运行实例所能够分配到的最小与最大 CPU 虚拟核心数vCores。
最小虚拟核心数默认为 1 个
最大虚拟核心数默认为 4 个推荐设置为系统最大物理核心的一半
!-- 容器最小虚拟核心数 --
propertynameyarn.scheduler.minimum-allocation-vcores/namevalue1/value
/property!-- 容器最大虚拟核心数 --
propertynameyarn.scheduler.maximum-allocation-vcores/namevalue2/value
/property10. 是否开启虚拟内存检查
用于指定是否启用虚拟内存检查来限制每个容器使用的虚拟内存量。
默认为 trueNodeManager 将会在分配容器资源时考虑每个容器使用的虚拟内存量。
如果一个容器的虚拟内存使用量超过了预先配置的限制NodeManager 会采取措施来处理这种情况通常是终止或杀死该容器。
在这里我调整为 false。
propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value
/property11. 设置虚拟内存与物理内存比例
用于设置虚拟内存与物理内存之间的比率默认为 2.1 倍。
这个参数的目的是限制应用程序可以使用的虚拟内存量以避免某个应用程序无限制地占用虚拟内存资源导致其他任务和应用程序受影响。
propertynameyarn.nodemanager.vmem-pmem-ratio/namevalue2.1/value
/property配置信息查看
完成配置后分发 yarn 文件重启 Hadoop查看 yarn 配置信息
