宁波制作网站软件,南京百度网站推广,做网站卖印度药,谷歌chrome浏览器下载两个核心原因#xff1a; 第一#xff1a;为了屏蔽不同服务器之间的CPU算力差异。 第二#xff1a;为了增加集群可提交的任务数量以及提高单个CPU的使用效率。 当我们做大数据开发用分布式计算引擎提交任务时#xff0c;一般都会给每个提交的任务分配对应的内存和CPU资源。… 两个核心原因 第一为了屏蔽不同服务器之间的CPU算力差异。 第二为了增加集群可提交的任务数量以及提高单个CPU的使用效率。 当我们做大数据开发用分布式计算引擎提交任务时一般都会给每个提交的任务分配对应的内存和CPU资源。在给一个分布式任务比如spark分配CPU核心数量时这个核心数其实指的是虚拟核心数。 为什么是虚拟不是真实的核心数量呢因为不同的服务器的计算能力是不同的大数据集群是由多台服务器组合而成在实际项目中这些服务器的数量可能会随着业务规模的不断扩大而持续的增加就会引发别的问题每个批次采购的服务器其型号和配置可能都是不一样的可能导致不同的服务器之间其CPU的计算能力是不一样的不同等级的CPU核心数以及每个核心的线程数也不一样问题随之而来既然这些算力异构的CPU出现在了同一个集群中那为了方便集中管理这些计算资源让每一颗不同的CPU算力都能被充分和公平的调度于是就想到用虚拟核心数来代替传统的物理核心数进行CPU资源的分配比如有两颗算力不同的CPU他们的核心数或者总线程数是一样的但是前者的算力是后者算力的两倍那么在设置虚拟核心数量的时候前者就可以将物理核心数与虚拟核心数的配比设置为12而对于后者物理核心数与虚拟核心数的配比设置为11这样一来通过虚拟核心数的分配方式相同的虚拟核心数量就代表着相同的算力可以有效屏蔽不同CPU之间的算力差异让算力不同的服务器之间尽可能的保证相同的计算负载。 分布式计算引擎用虚拟核心数还可以让CPU资源能够得到有效的利用因为对于集群来说其CPU的总核心数量是一定的而每一个提交的分布式任务都会占用一定数量的CPU核心。当你提交的任务占用的总核心数量等于集群拥有的总核心数量之后就算你的集群CPU算力还有富余你的分布式任务是没有办法再继续提交的而为了让你的集群资源的到充分的利用一般都会将一个物理CPU核心虚拟成两个或者多个来增加集群可提交的任务数量以及提高单个CPU的使用效率。
