南通网站设计制作公司,网站建设要求报告,电商网站设计公司力荐亿企邦,做公众号的软件hadoop的hdfs中避免因节点掉线产生网络风暴
控制节点掉线RPC风暴的参数 三个参数都是hdfs-site.xml中参数#xff0c;具体可以参考apache hadoop官网#xff0c;其实块的复制速度有两个方面决定#xff0c;一是namenode分发任务的速度#xff0c;二则是datanode之间进行复…hadoop的hdfs中避免因节点掉线产生网络风暴
控制节点掉线RPC风暴的参数 三个参数都是hdfs-site.xml中参数具体可以参考apache hadoop官网其实块的复制速度有两个方面决定一是namenode分发任务的速度二则是datanode之间进行复制的速度。前者可以理解成入口后者可以当成出口。 1.入口参数从namenode层面控制任务分发这个参数修改必须重启namenode不需要重启datanode.
dfs.namenode.replication.work.multiplier.per.iteration
这个参数apache hadoop默认值2cdh集群默认值10这个参数决定了当NN与DN进行心跳3s发送任务列表时告诉每个DN可以进行复制的block数量。比如集群有500个节点这个值设置为10那么一次心跳namnode可以发送datanode复制的数据块数量是10*5005000块。假如一个节点掉线/退役有800000块block需要复制则namenode需要多长时间可以将待复制块的任务分发完给datanode呢。 极限计算的结果
任务分发时间待复制block总数/(集群活跃dn*参数值)*心跳时间
time800000/(500*10)160次心跳*3s/每次心跳480s8分钟所以节点越多会分发任务越快,分发速度跟节点数和这个参数都成正比
2.出口参数相比上面从nanode任务分发控制下面两个使用datanode层面控制这两个参数也需要重启namenode
1.dfs.namenode.replication.max-streamsapache hadoop默认值是2cdh集群默认20。这个参数含义是控制datanode节点进行数据复制的最大线程数从上面我们知道block的复制优先级分成5种。这个参数控制不包含最高优先级的块复制。即除最高优先级的复制流限制
2.dfs.namenode.replication.max-streams-hard-limit这个值apache hadoop默认值2cdh集群默认值40这个参数含义是控制datanode所有优先级块复制的流个数包含最高优先级一般上面和上面两个参数互相的配合使用。
