宜昌住房与城乡建设部网站,wordpress优化,中信建设有限责任公司企业资质,建设企业高端网站HDFS中的Federation联邦机制 当前HDFS体系架构--简介局限性 联邦Federation架构简介好处配置示例 当前HDFS体系架构–简介
当前的HDFS结构有两个主要的层#xff1a;
命名空间#xff08;namespace#xff09; 由文件#xff0c;块和目录组成的统一抽象的目录树结构。由n… HDFS中的Federation联邦机制 当前HDFS体系架构--简介局限性 联邦Federation架构简介好处配置示例 当前HDFS体系架构–简介
当前的HDFS结构有两个主要的层
命名空间namespace 由文件块和目录组成的统一抽象的目录树结构。由namenode根据用户操作实时维护树结构块存储层 包括两部分 块管理namenode执行块管理。块管理通过处理注册和定期心跳来提供DataNode集群成员身份。它处理块报告并迟滞与块相关的操作如创建删除修改或获取块位置。它还维护块的位置副本位置。为未复制的块管理块复制并在已复制的块中删除存储DataNode通过在本地文件系统上存储块并提供读/写访问权限来管理存储空间
局限性
当下的HDFS体系结构仅允许单个namenode委会文件系统名称空间。这货在那个体系目前存在着一些弊端性和局限性
DataNode磁盘存储空间不够增加结点namenode内存不够是否可以无线扩容。比如一种是DataNode横向扩展机器增加结点一种是纵向扩展单机加内存由于名称空间和存储层紧密耦合namenode的替代实现很困难。这限制了其他服务直接使用块存储。namenode成了唯一入口文件系统的操作害限于namenode一次处理的任务数。因此集群的性能取决于namenode吞吐量同样由于使用的那个名称空间因此使用集群的占用者组织之间没有隔离
联邦Federation架构
简介
Federation是namenode之间的Federation也就是集群中会有多个namenode。多个那么node的情况意味着有多个namespace。注意这区别于HA模式下的多namenodeHA中他们是拥有同一个namespaceFederation体系中多个那么node之间相互独立且不需要互相协调各自分工管理自己的区域。每个DataNode要向集群中所有的namenode注册且周期性的向所有namenode发送心跳和块报告并执行所有namenode的命令
好处
命名空间可伸缩性 使用Federation可以水平扩展名称空间。这对大型集群或包含太多小文件的集群有利因为想集群添加了更多的namenode。 性能 由于文件系统操作不熟单个那么node吞吐量的限制因此可以提高文件系统的性能 隔离 -由于有多个名称空间他可以为使用集群的占用者组织提供隔离
配置示例
