有关电子商务网站建设的论文,中国工程建设标准化网,网站没有收录了,定州网站制作多少钱一文读懂HDFS分布式存储框架分析HDFS是一套基于区块链技术的个人的数据存储系统#xff0c;利用无处不在的私人PC存储空间及便捷的网络为个人提供数据加密存储服务#xff0c;将闲置的存储空间利用起来#xff0c;服务于正处于爆发期的个人数据存储市场。HDFS属于什么结构体…一文读懂HDFS分布式存储框架分析HDFS是一套基于区块链技术的个人的数据存储系统利用无处不在的私人PC存储空间及便捷的网络为个人提供数据加密存储服务将闲置的存储空间利用起来服务于正处于爆发期的个人数据存储市场。HDFS属于什么结构体系1、HDFS框架分析HDFS是Master和Slave的主从结构。主要由Name-Node、Secondary NameNode、DataNode构成。NameNode管理HDFS的名称空间和数据块映射信存储元数据与文件到数据块映射的地方。如果NameNode挂掉了文件就会无法重组怎么办有哪些容错机制Hadoop可以配置成HA即高可用集群集群中有两个NameNode节点一台active主节点另一台stan-dby备用节点两者数据时刻保持一致。当主节点不可用时备用节点马上自动切换用户感知不到避免了NameNode的单点问题。Secondary NameNode辅助NameNode分担NameNode工作紧急情况下可辅助恢复NameNode。DataNodeSlave节点实际存储数据、执行数据块的读写并汇报存储信息给NameNode。2、HDFS文件读写文件按照数据块的方式进行存储在DataNode上数据块是抽象块作为存储和传输单元而并非整个文件。文件为什么要按照块来存储呢首先屏蔽了文件的概念简化存储系统的设计比如100T的文件大于磁盘的存储需要把文件分成多个数据块进而存储到多个磁盘为了保证数据的安全需要备份的而数据块非常适用于数据的备份进而提升数据的容错能力和可用性。数据块大小设置如何考虑文件数据块大小如果太小一般的文件也就会被分成多个数据块那么在访问的时候也就要访问多个数据块地址这样效率不高同时也会对NameNode的内存消耗比较严重数据块设置得太大的话对并行的支持就不太好了同时系统如果重启需要加载数据数据块越大系统恢复就会越长。3.2.1 HDFS文件读流程1、向NameNode通信查询元数据block所在的DataNode节点找到文件块所在的DataNode服务器。2、挑选一台DataNode就近原则然后随机服务器请求建立socket流。3、DataNode开始发送数据从磁盘里面读取数据放入流以packet为单位来做校验。4、客户端已packet为单位接收现在本地缓存然后写入目标文件后面的block块就相当于是append到前面的block块最后合成最终需要的文件。3.2.2 HDFS文件写流程1、向NameNode通信请求上传文件NameNode检查目标文件是否已存在父目录是否存在。2、NameNode返回确认可以上传。3、client会先对文件进行切分比如一个block块128m文件有300m就会被切分成3个块一个128m、一个128m、一个44m。请求第一个block该传输到哪些DataNode服务器上。4、NameNode返回DataNode的服务器。5、client请求一台DataNode上传数据第一个DataNode收到请求会继续调用第二个DataNode然后第二个调用第三个DataNode将整个通道建立完成逐级返回客户端。6、client开始往A上传第一个block当然在写入的时候DataNode会进行数据校验第一台DataNode收到后就会传给第二台第二台传给第三台。7、当一个block传输完成之后client再次请求NameNode上传第二个block的服务器。HDFS致力于用全新的技术解决方案、商业思维、经济模型建立一套的满足现有用户个人隐私数据、商业数据、可信数据的存储需求的全新数据存储解决方案。这就是HDFS数据分布式存储的整体结构。
