要怎样建设网站,怎么做盗版电影网站,微信公众号怎么做文章推广,机关网站建设制度Hadoop基础-Hdfs各个组件的运行原理介绍 作者#xff1a;尹正杰 版权声明#xff1a;原创作品#xff0c;谢绝转载#xff01;否则将追究法律责任。 一.NameNode工作原理#xff08;默认端口号#xff1a;50070#xff09; 1.什么是NameNode NameNode管理文件系统的… Hadoop基础-Hdfs各个组件的运行原理介绍 作者尹正杰 版权声明原创作品谢绝转载否则将追究法律责任。 一.NameNode工作原理默认端口号50070 1.什么是NameNode NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上命名空间镜像文件和编辑日志文件。NameNode也记录着每个文件中各个块所在的数据节点信息但它并不永久保存块的位置信息因为这些信息在系统启动时由数据节点重建。 2.Name启动流程 NameNode职责1.负责客户端请求的响应2.元数据的管理查询修改NameNode对数据的管理采用了三种存储形式1.内存元数据(NameSystem)2.磁盘元数据镜像文件3.数据操作日志文件可通过日志运算出元数据元数据存储机制1.内存中有一份完整的元数据(内存meta data)2.磁盘有一个“准完整”的元数据镜像fsimage文件(在namenode的工作目录中)3.用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志edits文件NameNode启动流程概述1.第一次启动NameNode格式化后创建fsimage和edits文件。如果不是第一次启动直接加载编辑日志和镜像文件到内存。2.客户端对元数据进行增删改的请求3.NameNode记录操作日志更新滚动日志。4.namenode在内存中对数据进行增删改查在NameNode端的工作流程如下1.Namenode始终在内存中保存metedata用于处理“读请求” 到有“写请求”到来时namenode会首先写edits到磁盘即向edits文件中写日志当客户端操作成功后相应的元数据会更新到内存matedata中并且向客户端返回.2.Hadoop会维护一个fsimage文件也就是namenode中metedata的镜像但是fsimage不会随时与namenode内存中的metedata保持一致而是每隔一段时间通过合并edits文件来更新内容。查看namenode版本号1.在/home/yinzhengjie/data/hadoop/hdfs/ha/dfs/name1/current这个目录下查看VERSION文件,[yinzhengjies101 ~]$ cat /home/yinzhengjie/data/hadoop/hdfs/ha/dfs/name1/current/VERSION #Mon Aug 13 14:45:15 EDT 2018namespaceID1555352651clusterIDCID-58730c19-c019-4f4c-97f1-0eb80eab6071cTime0storageTypeNAME_NODEblockpoolIDBP-1140132172-172.30.1.101-1534178655035layoutVersion-63[yinzhengjies101 ~]$ 2.namenode版本号具体解释2.1.namespaceID在HDFS上会有多个Namenode所以不同Namenode的namespaceID是不同的分别管理一组blockpoolID。2.2.clusterID集群id全局唯一2.3.cTime属性标记了namenode存储系统的创建时间对于刚刚格式化的存储系统这个属性为0但是在文件系统升级之后该值会更新到新的时间戳。2.4.storageType属性说明该存储目录包含的是namenode的数据结构。2.5.blockpoolID一个block pool id标识一个block pool并且是跨集群的全局唯一。当一个新的Namespace被创建的时候(format过程的一部分)会创建并持久化一个唯一ID。在创建过程构建全局唯一的BlockPoolID比人为的配置更可靠一些。NN将BlockPoolID持久化到磁盘中在后续的启动过程中会再次load并使用。2.6.layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。namenode的本地目录可以配置成多个且每个目录存放内容相同增加了可靠性。具体配置如下[hdfs-site.xml]propertynamedfs.namenode.name.dir/namevaluefile:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2/value --注意这个值咱们也可以写绝对路径我测试过好使--/property 3.NameNode注意事项 第一如下图所示第一次启动namenode格式化后创建fsimage和edits文件 第二重启hdfs分布式文件系统时默认会自动滚动编辑日志如下图所示 第三如果不是第一次启动直接加载编辑日志和镜像文件到内存如下图所示 想要了解更多关于镜像文件和编辑日志信息可参考https://www.cnblogs.com/yinzhengjie/p/9098092.html。 二.SecondaryNameNode工作原理默认端口号50090 1.什么是SecondaryNameNode 它是辅助namenode的进程Secondary NameNode为主namenode内存中的文件系统元数据创建检查点Secondary NameNode所做的不过是在文件系统中设置一个检查点来帮助NameNode更好的工作。它不是要取代掉NameNode也不是NameNode的备份。 2.SecondaryNameNode有两个作用 2.1.镜像备份即备份fsimage(fsimage是元数据发送检查点时写入文件) 2.2.日志与镜像的定期合并。简单的说是将Namenode中edits日志和fsimage合并,防止如果Namenode节点故障namenode下次启动的时候会把fsimage加载到内存中应用edits log,edits log往往很大导致操作往往很耗时。这也是namenode容错的一套机制 以上两个过程同时进行称为checkpoint检查点。 3.NameNodeSecondaryNameNode的工作原理 第一阶段NameNode启动1.第一次启动NameNode格式化后创建fsimage和edits文件。如果不是第一次启动直接加载编辑日志和镜像文件到内存。2.客户端对元数据进行增删改的请求3.NameNode记录操作日志更新滚动日志。4.NameNode在内存中对数据进行增删改查第二阶段Secondary NameNode工作1.Secondary NameNode询问NameNode是否需要checkpoint。直接带回NameNode是否检查结果。2.Secondary NameNode请求执行checkpoint。3.NameNode滚动正在写的edits日志4.将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode5.Secondary NameNode加载编辑日志和镜像文件到内存并合并。6.生成新的镜像文件fsimage.chkpoint7.拷贝fsimage.chkpoint到NameNode8.NameNode将fsimage.chkpoint重新命名成fsimage 检查点和编辑日志存放位置 chkpoint检查时间参数设置1.通常情况下SecondaryNameNode每隔一小时执行一次。[hdfs-default.xml]propertynamedfs.namenode.checkpoint.period/namevalue3600/value/property2.一分钟检查一次操作次数当操作次数达到1百万时SecondaryNameNode执行一次。propertynamedfs.namenode.checkpoint.txns/namevalue1000000/valuedescription操作动作次数/description/propertypropertynamedfs.namenode.checkpoint.check.period/namevalue60/valuedescription 1分钟检查一次操作次数/description/propertySecondaryNameNode目录结构Secondary NameNode用来监控HDFS状态的辅助后台程序每隔一段时间获取HDFS元数据的快照。在/home/yinzhengjie/hadoop-2.7.3/data/hdfs/dfs/namesecondary/current这个目录中查看SecondaryNameNode目录结构。edits_0000000000000000001-0000000000000000002fsimage_0000000000000000002fsimage_0000000000000000002.md5VERSIONSecondaryNameNode的namesecondary/current目录和主namenode的current目录的布局相同。好处在主namenode发生故障时假设没有及时备份数据可以从SecondaryNameNode恢复数据。方法一将SecondaryNameNode中数据拷贝到namenode存储数据的目录方法二使用-importCheckpoint选项启动namenode守护进程从而将SecondaryNameNode中数据拷贝到namenode目录中。 三.DataNode工作原理 1.什么是DataNode 用大白话来说NameNode用来存储一些元数据信息的而DataNode却是用来存放真实数据的。 2.DataNode的工作机制 如上图所示DataNode和NameNode的通信机制如下 1.一个数据块在datanode上以文件形式存储在磁盘上包括两个文件一个是数据本身一个是元数据包括数据块的长度块数据的校验和以及时间戳。 2.DataNode启动后向namenode注册通过后周期性1小时的向namenode上报所有的块信息。 3.心跳是每3秒一次心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳则认为该节点不可用。 集群运行中可以安全加入和退出一些机器。这种专业术语叫做集群的服役和退役。关于如何服役和退役详情请参考我之前分享的笔记https://www.cnblogs.com/yinzhengjie/p/9101070.html DataNode的校验和是为了保证数据的完整性1.当DataNode读取block的时候它会计算checksum;2.如果计算后的checksum与block创建时值不一样说明block已经损坏;3.client此时会读取其他DataNode上的block;4.datanode在其文件创建后周期验证checksum;5.不论数据是否发生改变DataNode都会定期(默认是一小时)上报数据掉线时限参数设置datanode进程死亡或者网络故障造成datanode无法与namenode通信namenode不会立即把该节点判定为死亡要经过一段时间这段时间暂称作超时时长。HDFS默认的超时时长为10分钟30秒。如果定义超时时间为timeout则超时时长的计算公式为timeout 2 * dfs.namenode.heartbeat.recheck-interval 10 * dfs.heartbeat.interval。而默认的dfs.namenode.heartbeat.recheck-interval 大小为5分钟dfs.heartbeat.interval默认为3秒。需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒dfs.heartbeat.interval的单位为秒。[hdfs-site.xml]propertynamedfs.namenode.heartbeat.recheck-interval/namevalue300000/value/propertypropertyname dfs.heartbeat.interval /namevalue3/value/propertydatanode也可以配置成多个目录每个目录存储的数据不一样。即数据不是副本。具体配置如下[hdfs-site.xml]propertynamedfs.datanode.data.dir/namevaluefile:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2/value/property 四.HDFS扫盲跟你们小伙伴聊天别被他这些简单问题问到了 1.请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程它们的作用分别是什么? 1.NameNode它是hadoop中的主服务器管理文件系统名称空间和对集群中存储的文件的访问保存有metadate。
2.SecondaryNameNode它不是namenode的冗余守护进程而是提供周期检查点和清理任务。帮助NN合并editslog减少NN启动时间。
3.DataNode它负责管理连接到节点的存储一个集群中可以有多个节点。每个存储数据的节点运行一个datanode守护进程。
4.ResourceManagerJobTrackerJobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker它们执行实际工作。
5.NodeManagerTaskTracker执行任务。
6.DFSZKFailoverController高可用时它负责监控NN的状态并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利因为最多只有两个节点目前选择策略还比较简单先到先得轮换。
7.JournalNode 高可用情况下存放namenode的editlog文件。 2. 3.
