外卖网站怎么做,网站建设运营公司企业特色,wordpress文章分类能编辑,云建网站1、集群配置#xff08;1#xff09;集群启动/停止方式总结#xff08;2#xff09;编写Hadoop集群常用脚本#xff08;3#xff09;常考面试题【1】常用端口号【2】常用配置-文件 2、HDFS概述#xff08;1#xff09;HDFS产出背景及定义#xff08;2#xff09;HDFS… 1、集群配置1集群启动/停止方式总结2编写Hadoop集群常用脚本3常考面试题【1】常用端口号【2】常用配置-文件 2、HDFS概述1HDFS产出背景及定义2HDFS优缺点3HDFS的组成架构4HDFS文件块大小面试重点 3、HDFS的Shell操作1准备工作2上传命令3下载命令4HDFS直接操作命令 1、集群配置
1集群启动/停止方式总结
1各个模块分开启动/停止配置ssh是前提常用 1整体启动/停止HDFS
start-dfs.sh/stop-dfs.sh2整体启动/停止YARN
start-yarn.sh/stop-yarn.sh2各个服务组件逐一启动/停止 1分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode2启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager一般都是按照集群来启动不然如果有100台服务器的话就无法启动了
2编写Hadoop集群常用脚本
在写脚本的时候能写绝对路径就不要写相对路径。
1Hadoop集群启停脚本包含HDFSYarnHistoryservermyhadoop.sh
[roothadoop102 ~]$ cd /home/wenxin/bin
[roothadoop102 bin]$ vim myhadoop.sh输入如下内容
#!/bin/bashif [ $# -lt 1 ]
thenecho No Args Input...exit ;
ficase $1 in
start)echo 启动 hadoop集群 echo --------------- 启动 hdfs ---------------ssh hadoop102 /home/wenxin/module/hadoop-3.1.3/sbin/start-dfs.shecho --------------- 启动 yarn ---------------ssh hadoop103 /home/wenxin/module/hadoop-3.1.3/sbin/start-yarn.shecho --------------- 启动 historyserver ---------------ssh hadoop102 /home/wenxin/module/hadoop-3.1.3/bin/mapred --daemon start historyserver
;;
stop)echo 关闭 hadoop集群 echo --------------- 关闭 historyserver ---------------ssh hadoop102 /home/wenxin/module/hadoop-3.1.3/bin/mapred --daemon stop historyserverecho --------------- 关闭 yarn ---------------ssh hadoop103 /home/wenxin/module/hadoop-3.1.3/sbin/stop-yarn.shecho --------------- 关闭 hdfs ---------------ssh hadoop102 /home/wenxin/module/hadoop-3.1.3/sbin/stop-dfs.sh
;;
*)echo Input Args Error...
;;
esac 目前还没找到解决方法。
2查看三台服务器Java进程脚本jpsall
[roothadoop102 bin]$ vim jpsall输入如下内容
#!/bin/bashfor host in hadoop102 hadoop103 hadoop104
doecho $host ssh $host jps
done保存后退出然后赋予脚本执行权限
[roothadoop102 bin]$ chmod x jpsall3分发/bin目录保证自定义脚本在三台机器上都可以使用
[roothadoop102 ~]$ xsync /bin3常考面试题
【1】常用端口号 hadoop3.x HDFP NameNode 内部通讯端口8020/9000/9820 HDFS NameNode 对用户的查询端口9870 Yarn查看任务运行情况的8088 历史服务器19888 hadoop2.x HDFS NameNode 内部通讯端口8020/9000 HDFS NameNode 对用户的查询端口50070 Yarn查看任务运行情况的8088 历史服务器19888
【2】常用配置-文件 hadoop3.x core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml workers hadoop2.x : core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml slaves
2、HDFS概述
1HDFS产出背景及定义
1HDFS产生背景 随着数据量越来越大在一个操作系统存不下所有的数据那么就分配到更多的操作系统管理的磁盘中但是不方便管理和维护迫切需要一种系统来管理多台机器上的文件这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 分布式指的是多台服务器解决同一件事情。
2HDFS定义 HDFSHadoop Distributed File System它是一个文件系统用于存储文件通过目录树来定位文件其次它是分布式的由很多服务器联合起来实现其功能集群中的服务器有各自的角色。 HDFS的使用场景适合一次写入多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。 已经写入的就不适合修改了
2HDFS优缺点
优点 缺点 3HDFS的组成架构 4HDFS文件块大小面试重点 块太大不利于后期的并发运算而且处理起来较慢。
3、HDFS的Shell操作
hadoop fs 具体命令 或者R hdfs dfs 具体命令 两个是完全相同的。 命令大全
[-appendToFile localsrc ... dst][-cat [-ignoreCrc] src ...][-chgrp [-R] GROUP PATH...][-chmod [-R] MODE[,MODE]... | OCTALMODE PATH...][-chown [-R] [OWNER][:[GROUP]] PATH...][-copyFromLocal [-f] [-p] localsrc ... dst][-copyToLocal [-p] [-ignoreCrc] [-crc] src ... localdst][-count [-q] path ...][-cp [-f] [-p] src ... dst][-df [-h] [path ...]][-du [-s] [-h] path ...][-get [-p] [-ignoreCrc] [-crc] src ... localdst][-getmerge [-nl] src localdst][-help [cmd ...]][-ls [-d] [-h] [-R] [path ...]][-mkdir [-p] path ...][-moveFromLocal localsrc ... dst][-moveToLocal src localdst][-mv src ... dst][-put [-f] [-p] localsrc ... dst][-rm [-f] [-r|-R] [-skipTrash] src ...][-rmdir [--ignore-fail-on-non-empty] dir ...]
acl_spec path]][-setrep [-R] [-w] rep path ...][-stat [format] path ...][-tail [-f] file][-test -[defsz] path][-text [-ignoreCrc] src ...]
1准备工作
启动dfs服务 -help输出这个命令参数
hadoop fs -help rm创建/sanguo文件夹
hadoop fs -mkdir /sanguo在网址上输入hadoop102:9870
2上传命令
1-moveFromLocal从本地剪切粘贴到HDFS
[roothadoop102 hadoop-3.1.3]# hadoop fs -moveFromLocal ./shuguo.txt /sanguo2-copyFromLocal从本地文件系统中拷贝文件到HDFS路径去
[roothadoop102 hadoop-3.1.3]# hadoop fs -copyFromLocal weiguo.txt /sanguo3-put等同于copyFromLocal生产环境更习惯用put
[roothadoop102 hadoop-3.1.3]# hadoop fs -put wuguo.txt /sanguo4-appendToFile追加一个文件到已经存在的文件末尾【HDFS只允许在文件的末尾进行追加不允许修改】
[roothadoop102 hadoop-3.1.3]# hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt将liubei.txt文件追加到sanguo文件夹下的shuguo.txt文件的末尾
3下载命令
1-copyToLocal从HDFS拷贝到本地
hadoop fs -copyToLocal /sanguo/shuguo.txt ./将hdfs中的sanguo文件夹下的shuguo.txt文件拷贝到本地的当前路径下 2-get等同于copyToLocal生产环境更习惯用get
hadoop fs -get /sanguo/shuguo.txt ./4HDFS直接操作命令
1-ls: 显示目录信息
[roothadoop102 hadoop-3.1.3]$ hadoop fs -ls /sanguo2-cat显示文件内容
[roothadoop102 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuguo.txt3-chgrp、-chmod、-chownLinux文件系统中的用法一样修改文件所属权限
[roothadoop102 hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo.txt
[roothadoop102 hadoop-3.1.3]$ hadoop fs -chown root:root /sanguo/shuguo.txt4-mkdir创建路径
[roothadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /jinguo5-cp从HDFS的一个路径拷贝到HDFS的另一个路径
[roothadoop102 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuguo.txt /jinguo6-mv在HDFS目录中移动文件
[roothadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/wuguo.txt /jinguo
[roothadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/weiguo.txt /jinguo7-tail显示一个文件的末尾1kb的数据
因为在生产环境当中往往最末尾的文件是最新的文件。文件都是从最末尾追加的。
[roothadoop102 hadoop-3.1.3]$ hadoop fs -tail /jinguo/shuguo.txt8-rm删除文件或文件夹
[roothadoop102 hadoop-3.1.3]$ hadoop fs -rm /sanguo/shuguo.txt9-rm -r递归删除目录及目录里面内容
[roothadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /sanguo10-du统计文件夹的大小信息
[roothadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /jinguo[roothadoop102 hadoop-3.1.3]$ hadoop fs -du -h /jinguo11-setrep设置HDFS中文件的副本数量
[roothadoop102 hadoop-3.1.3]$ hadoop fs -setrep 10 /jinguo/shuguo.txt这里设置的副本数只是记录在NameNode的元数据中是否真的会有这么多副本还得看DataNode的数量。因为目前只有3台设备最多也就3个副本只有节点数的增加到10台时副本数才能达到10。
