福永建网站,注册资金必须实缴吗,中山网站建设思,做网站百科1、在HDFS里面#xff0c;文件存储为什么要以Block块的方式存储#xff1f;
目的#xff1a;减少磁盘寻道的时间。 (1)、不设置block#xff1a;因为数据是分散的存放磁盘上的#xff0c;读取数据时需要不停的进行磁盘寻道#xff0c;开销比较大。
(2)、使用block: 一次…1、在HDFS里面文件存储为什么要以Block块的方式存储
目的减少磁盘寻道的时间。 (1)、不设置block因为数据是分散的存放磁盘上的读取数据时需要不停的进行磁盘寻道开销比较大。
(2)、使用block: 一次可以读取一个block中的数据减少磁盘寻道的次数和时间。 其他block在磁盘上非连续存储的读取数据时需要磁盘寻道。
2、为什么HDFS中块(block)不能设置太大也不能设置太小
(1)、block设置过大从磁盘传输数据的时间明显大于寻址时间导致处理该块数据时比较慢。
(2)、block设置过小NameNode需要大量内存来存储元数据不可取。
3、HDFS寻址时间
HDFS中找到目标文件块(block)所需要的时间。
4、DataNode上的块大小默认是128MB,为什么128MB是最优选择
目的减少HDFS寻址开销。 HDFS的平均寻址时间大概是10ms寻址时间为传输时间的1%时为最佳状态所以最佳传输时间是10ms/0.011000ms1s。 目前磁盘的传输速率普遍为100MB/s
计算出最佳block大小100MB/s x 1s 100MB,
所以我们设定block大小为128MB。 如果磁盘传输速率很大例如2000M/s时block可以设置为 2000M/s * 1s 2000M
