建筑网站起名,sem和seo的工作,下述不属于网页制作工具,网站域名变更怎么查询视频课程地址#xff1a;https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接#xff1a;https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd5ay8 这里写目录标题 一、VMware准备Linux虚拟机1.1. VMware安装Linux虚拟机1.1.1. 修改虚拟机子网IP和网关1.1.2. 安装…视频课程地址https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd5ay8 这里写目录标题 一、VMware准备Linux虚拟机1.1. VMware安装Linux虚拟机1.1.1. 修改虚拟机子网IP和网关1.1.2. 安装Linux虚拟机 1.2. VMware克隆三台Linux虚拟机1.3. 为三台虚拟机配置固定IP1.4. 配置免密登录1.5. JDK环境部署1.6. 防火墙、SELinux、时间同步配置1.6.1. 关闭防火墙1.6.2. 关闭SELinux1.6.3. 配置时间同步 1.7. 使用VMware快照功能保存当前已配置好的初始环境 二、在虚拟机里部署HDFS集群2.1. 部署node1虚拟机2.2. 部署node2和node3虚拟机2.3. 初始化并启动Hadoop集群格式化文件系统2.4. 快照部署好的集群2.5. 部署过程中可能会遇到的问题2.5. Hadoop HDFS集群启停脚本 三、使用HDFS文件系统3.1. 使用命令操作HDFS文件系统3.1.1. HDFS文件系统基本信息3.1.2. HDFS文件系统的2套命令体系3.1.3. 创建文件夹3.1.4. 查看指定目录下的内容3.1.5. 上传文件到HDFS指定目录下3.1.6. 查看HDFS中文件的内容3.1.7. 从HDFS下载文件到本地3.1.8. 复制HDFS文件 一、VMware准备Linux虚拟机
1.1. VMware安装Linux虚拟机
VMware虚拟机安装程序下载地址需要自己想办法激活https://download3.vmware.com/software/WKST-1750-WIN/VMware-workstation-full-17.5.0-22583795.exe CentOS操作系统镜像下载地址https://vault.centos.org/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso
1.1.1. 修改虚拟机子网IP和网关
下载后先安装VMware虚拟机安装成功后需改虚拟机网络配置。 1、在“编辑”-“虚拟网络编辑器”中修改NAT8网卡的子网IP地址 2、进入编辑器后选择“VMnet8”网卡然后点击右下角的“更改设置”按钮 3、获取管理员权限后选择“VMnet8”网卡将其子网IP修改为“192.168.88.0” 4、点击“NAT设置”按钮在NAT设置界面将网关IP修改为“192.168.88.2”并保存上述设置。
1.1.2. 安装Linux虚拟机
1、通过VMware菜单中的“文件”-“新建虚拟机”创建一个新的虚拟机 2、选择前面下载的CentOS操作系统镜像 3、输入Linux系统用户名和密码该密码也是root的密码 4、填写虚拟机名称和虚拟机的存放位置 5、之后一直下一步、完成然后虚拟机开始自己安装直至安装完成此过程视个人电脑和网络情况可能需要半小时左右中间不用任何操作待系统安装完毕后虚拟机会自动重启看到如下界面代表安装成功。
1.2. VMware克隆三台Linux虚拟机
1、将前面安装好的虚拟机关机然后在VMware左侧的菜单中鼠标右键刚才安装好的虚拟机选择“管理”-“克隆” 2、然后点击下一页按钮直到“克隆方法”界面 3、在克隆方法界面选择“创建完整克隆”然后继续下一页 4、重命名虚拟机名称为node1选择克隆出来的虚拟机存放的路径然后点击“完成”按钮VMware就会克隆出一个一摸一样的虚拟机此过程很快一般3~5秒的样子 5、依照上述方法再克隆出node2和node3总共3台虚拟机出来 6、此时先别启动这3台虚拟机先对3台虚拟机的内存大小进行调整分别将node1调整到4GBnode2和node3调整成2GB 7、内存调整完毕后分别将node1、2、3开机在开机时VMware会弹窗提示“无法连接虚拟设备 ide1:0…”直接点“否”即可至此虚拟机克隆完毕后续我们使用的也是这3台虚拟机。
1.3. 为三台虚拟机配置固定IP
1、三台虚拟机分别启动后在虚拟机中打开命令行修改主机名输入如下命令
# 切换成root用户
[itheimalocahost ~]$ su -
# 修改当前虚拟机的主机名这里只演示node1node2和node3命令相同只是最后的参数需要修改成node2和node3
[rootlocahost ~]# hostnamectl set-hostname node12、上述命令执行完毕后关闭命令行并重新打开命令行此时可以看到命令行内的主机名已经变成了node1、node2和node3 3、在命令行里切换到root用户并执行如下命令
vim /etc/sysconfig/network-scripts/ifcfg-ens334、打开ifcfg-ens33文件后将其中BOOTPROTO配置项的值修改为static然后再在文件末尾追加如下内容
IPADDR192.168.88.101
NETMASK255.255.255.0
GATEWAY192.168.88.2
DNS1192.168.88.2其中在node1虚拟机中IPADDR的值为192.168.88.101node2虚拟机的IPADDR的值为192.168.88.102node3虚拟机的IPADDR的值为192.168.88.103
5、修改网网卡配置后在命令行中重启网卡执行如下命令
systemctl restart network然后可以使用ifconfig命令查看及其的IP地址查看上述修改是否成功。
1.4. 配置免密登录
1、修改Windows系统本机非虚拟机的hosts文件目录为C:\Windows\System32\drivers\etc\将如下内容追加在hosts文件末尾并保存
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node32、使用本机的ssh工具连接三台虚拟机node1、node2、node3后续所有的命令通过ssh工具操作 3、分别修改三台虚拟机的hosts文件此处以node1为例在命令行中输入
vim /etc/hosts在hosts文件中追加如下内容
192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3保存并退出然后同样的步骤修改node2和node3的hosts文件。 4、在三台虚拟机上分别执行ssh-keygen -t rsa -b 4096命令然后一路回车到底给三台虚拟机分别生成好自己的密钥 5、在三台虚拟机上都执行如下命令完成免密登录的授权操作
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3执行命令过程中有配置项需要确认输入yes然后还需要输入root密码 6、可以在node1虚拟机通过命令ssh node2查看是否已经配置好了node1到node2的免密登录同理可以在node2验证到另两台服务器的免密登录 7、至此我们配置好了三台虚拟机root用户之间的免密登录接下来我们还需要配置三台虚拟机之间hadoop用户的免密登录 8、使用useradd hadoop和passwd hadoop命令分别在三台虚拟机上创建hadoop用户 9、在三台虚拟机上使用su - hadoop命令切换成hadoop用户然后使用签名用过的ssh-keygen -t rsa -b 4096命令生成hadoop用户的ssh密钥 10、然后再在三台虚拟机上执行如下命令实现hadoop用户之间的免密登录
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3具体操作和上面配置root用户的免密登录时一样。至此免密登录配置完成。
1.5. JDK环境部署
1、目前还是使用jdk 1.8版本下载页面https://www.oracle.com/cn/java/technologies/downloads/打开页面一直往下划划到JDK 1.8的部分下载x64 Compressed Archive版本 2、下载后在虚拟机里面切换成root用户然后将刚才下载好的jdk压缩包上传到root目录下执行如下命令 mkdir -p /export/server
# 解压刚才上传的jdk压缩包到/export/server目录
tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server/
# 创建软连接
ln -s /export/server/jdk1.8.0_391/ /export/server/jdk3、配置环境变量使用命令vim /etc/profile打开环境变量配置文件然后在文件末尾追加如下内容
export JAVA_HOME/export/server/jdk
export PATH$PATH:$JAVA_HOME/bin然后使用source /etc/profile命令使环境变量生效 4、将操作系统自带的jdk替换成我们刚才安装的jdk
# 删除系统自带的java程序
rm -f /usr/bin/java
# 软连接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java此时jdk配置完成可以使用java -version和javac -version命令校验系统所使用的java是否已经是我们自己安装的JDK。 5、使用scp命令将已解压的jdk文件夹复制到node2和node3
# 复制到node2
scp -r /export/server/jdk1.8.0_391/ node2:pwd/
# 复制到node3
scp -r /export/server/jdk1.8.0_391/ node3:pwd/6、然后参考上面的流程创建软连接、配置环境变量、移除系统自带的java完成node2和node3的配置。
1.6. 防火墙、SELinux、时间同步配置
1.6.1. 关闭防火墙
在三台虚拟机上分别执行如下命令
# 关闭防火墙
systemctl stop firewalld.service
# 关闭防火墙的开机自启
systemctl disable firewalld.service1.6.2. 关闭SELinux
使用vim /etc/sysconfig/selinux打开selinux的配置文件将其中的SELINUXenforcing修改为SELINUXdisabled然后保存退出并重启虚拟机可通过reboot命令即可。
1.6.3. 配置时间同步
在三台虚拟机上分别依次执行以下步骤 1、安装ntp软件
yum install -y ntp2、更新时区
# 删除系统的默认时区信息
rm -f /etc/localtime
# 设置虚拟机的时区为中国上海时区
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime3、同步时间
# 使用阿里云的ntp服务校准本机时间
ntpdate -u ntp.aliyun.com4、开启ntp服务并设置开机自启
# 启动NTP服务
systemctl start ntpd.service
# 设置NTP服务开机自启动
systemctl enable ntpd.service1.7. 使用VMware快照功能保存当前已配置好的初始环境
1、将三台虚拟机全部关机 2、在VMware中在左侧虚拟机上右键选择“快照”-“拍摄快照”填写快照名称和备注创建虚拟机快照 node2和node3重复上述步骤完成快照拍摄
二、在虚拟机里部署HDFS集群
下载Hadoophttps://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz 本次演示部署结构如下图所示 本次部署服务清单如下表所示
节点部署的服务node1NameNode、DataNode、SecondaryNameNodenode2DataNodenode3DataNode
2.1. 部署node1虚拟机
1、将下载好的Hadoop压缩包上传至node1虚拟机的root目录 2、将Hadoop压缩包解压至/export/server目录下
tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/3、创建hadoop目录的软链接
# 切换工作目录
cd /export/server/
# 创建软连接
ln -s /export/server/hadoop-3.3.4/ hadoop4、hadoop目录结构如下
目录存放内容bin存放Hadoop的各类程序命令etc存放Hadoop的配置文件include存放Hadopp用到的C语言的头文件lib存放Linux系统的动态链接库.so文件libexec存放配置Hadoop系统的脚本文件.sh和.cmd文件licenses_binary存放许可证文件sbin管理员程序super binshare存放二进制源码jar包
5、配置workers文件
cd etc/hadoop/
vim workers将workers文件原有的内容删掉改为
node1
node2
node3保存即可 6、配置hadoop-env.sh文件使用vim hadoop-env.sh打开修改以下配置
# 指明JDK安装目录
export JAVA_HOME/export/server/jdk
# 指明HADOOP安装目录
export HADOOP_HOME/export/server/hadoop
# 指明HADOOP配置文件的目录
export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop
#指明HADOOP运行日志文件的目录
export HADOOP_LOG_DIR$HADOOP_HOME/logs7、配置core-site.xml文件使用vim core-site.xml打开文件修改以下配置
configurationproperty!--HDFS 文件系统的网络通讯路径--namefs.defaultFS/namevaluehdfs://node1:8020/value/propertyproperty!--io 操作文件缓冲区大小--nameio.file.buffer.size/namevalue131072/value/property
/configuration8、配置hdfs-site.xml文件修改以下配置
configurationproperty!--hdfs 文件系统默认创建的文件权限设置--namedfs.datanode.data.dir.perm/name!-- 700权限即rwx------ --value700/value/propertyproperty!--NameNode 元数据的存储位置--namedfs.namenode.name.dir/name!-- 在 node1 节点的 /data/nn 目录下 --value/data/nn/value/propertyproperty!--NameNode 允许哪几个节点的 DataNode 连接即允许加入集群--namedfs.namenode.hosts/namevaluenode1,node2,node3/value/propertyproperty!--hdfs 默认块大小--namedfs.blocksize/name!--268435456即256MB--value268435456/value/propertyproperty!--namenode 处理的并发线程数--namedfs.namenode.handler.count/namevalue100/value/propertyproperty!--从节点 DataNode 的数据存储目录即数据存放在node1、node2、node3三台机器中的路径--namedfs.datanode.data.dir/namevalue/data/dn/value/property
/configuration9、根据上一步的配置项在node1节点创建/data/nn和/data/dn目录在node2和node3节点创建/data/dn目录 10、将已配置好的hadoop程序从node1分发到node2和node3
# 切换工作目录
cd /export/server/
# 将node1的hadoop-3.3.4/目录复制到node2的同样的位置
scp -r hadoop-3.3.4/ node2:pwd/
# 将node1的hadoop-3.3.4/目录复制到node3的同样的位置
scp -r hadoop-3.3.4/ node3:pwd/11、将Hadoop加入环境变量使用vim /etc/profile打开环境变量文件将以下内容添加在文件末尾
export HADOOP_HOME/export/server/hadoop
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin执行source /etc/profile命令使环境变量配置生效 12、修改相关目录的权限
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export/2.2. 部署node2和node3虚拟机 本小节内容如无特殊说明均需在node2和node3虚拟机分别执行 1、为hadoop创建软链接命令都是一样的如下所示
cd /export/server/
ln -s /export/server/hadoop-3.3.4/ hadoop2、将Hadoop加入环境变量使用vim /etc/profile打开环境变量文件将以下内容添加在文件末尾
export HADOOP_HOME/export/server/hadoop
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin执行source /etc/profile命令使环境变量配置生效 3、修改相关目录的权限
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export/2.3. 初始化并启动Hadoop集群格式化文件系统
1、在node1虚拟机上执行以下命令
# 切换为hadoop用户
su - hadoop
# 格式化namenode
hadoop namenode -format2、启动集群在node1虚拟机上执行以下命令
# 一键启动整个集群包括namenode、secondarynamenode和所有的datanode
start-dfs.sh
# 查看当前系统中正在运行的Java进程可以看到每台虚拟机上hadoop的运行情况
jps3、执行上述步骤之后我们可以在我们自己的电脑非虚拟机上查看 HDFS WEBUI即HADOOP管理页面可以通过访问namenode所在服务器的9870端口查看在本案例中因为namenode处于node1虚拟机上所以可以访问http://node1:9870/打开。PS因为之前我们已经配置了本机的hosts文件所以这里可以使用node1访问其实这个地址对应的就是http://192.168.88.101:9870/。 4、如果看到以下界面代表Hadoop集群启动成功了。
2.4. 快照部署好的集群
为了保存刚部署好的集群在后续如果出现无法解决的问题不至于重新部署一遍使用虚拟机快照的方式进行备份。 1、一键关闭集群在node1虚拟机执行以下命令
# 切换为hadoop用户
su - hadoop
# 一键关闭整个集群
stop-dfs.sh关闭完成后可以在node1、node2、node3虚拟机中使用jps命令查看相应Java进程是否已消失。 2、关闭三台虚拟机 3、在VMware中分别在三台虚拟机上右键“快照”-“拍摄快照”功能创建快照。
2.5. 部署过程中可能会遇到的问题
在以Hadoop用户身份执行start-dfs.sh命令时提示Permission denied。此时需要检查三台虚拟机上相关路径/data、/export/server及其子路径上hadoop用户是否具有读、写、执行的权限。在执行start-dfs.sh命令后使用jps命令可以查看已启动的服务若发现有服务未启动成功的可以查看/export/server/hadoop/logs目录下的日志文件若在日志文件中看到类似于无权限、不可访问等报错信息同样需要检查对应机器的相关路径权限。执行hadoop namenode -format、start-dfs.sh、stop-dfs.sh等Hadoop相关命令时若提示command not found则代表着环境变量没配置好需要检查三台机器的/etc/profile文件的内容需要使用source命令使环境变量生效以及hadoop的软连接是否正确。执行start-dfs.sh命令后node1的相关进程启动成功但node2和node3没有启动的需要检查workers文件的配置是否有node2和node3。若在日志文件中看到WstxEOFException或Unexpected EOF等信息大概率是xml配置文件有问题需要仔细检查core-site.xml和hdfs-site.xml文件里面的内容少了某个字母或字符、写错了某个字母或字符尤其是符号。 综上常见出错点总结为
权限未正确配置配置文件错误未格式化
2.5. Hadoop HDFS集群启停脚本
注意在使用以下命令前一定要确保当前是hadoop用户否则将报错或没有效果 Hadoop HDFS 组件内置了HDFS集群的一键启停脚本。 $HADOOP_HOME/sbin/start-dfs.sh一键启动HDFS集群 执行流程 在执行此脚本的机器上启动SecondaryNameNode读取core-site.xml内容fs.defaultFS项确定NameNode所在机器启动NameNode读取workers内容确定DataNode所在机器启动全部DataNode。 $HADOOP_HOME/sbin/stop-dfs.sh一键关闭HDFS集群 执行流程 在执行此脚本的机器上关闭SecondaryNameNode读取core-site.xml内容fs.defaultFS项确定NameNode所在机器关闭NameNode读取workers内容确认DataNode所在机器关闭全部NameNode。 除了一键启停外也可以单独控制某个进程的启停。 $HADOOP_HOME/sbin/hadoop-daemon.sh此脚本可以单独控制所在机器的进程启停 用法hadoop-daemon.sh (start|status|stop) (namenode|secondarynamenode|datanode) $HADOOP_HOME/sbin/hdfs此程序也可以单独控制所在机器的进程启停 用法hdfs --daemon (start|status|stop) (namenode|secondarynamenode|datanode)
三、使用HDFS文件系统
3.1. 使用命令操作HDFS文件系统
3.1.1. HDFS文件系统基本信息
HDFS和Linux系统一样均是以/作为根目录的组织形式如何区分HDFS和Linux文件系统 Linux文件系统以file://作为协议头HDFS文件系统以hdfs://namenode:port作为协议头例如有路径/usr/local/hello.txt在Linux文件系统中表示为file:///usr/local/hello.txt在HDFS文件系统中表示为hdfs://node1:8020/usr/local/hello.txt但一般情况下协议头是可以省略的使用Linux命令时会自动识别为file://协议头使用HDFS命令时会自动识别为hdfs://namenode:port协议头但如果需要再使用HDFS命令操作Linux文件时需要明确使用file://协议头。
3.1.2. HDFS文件系统的2套命令体系
老版本 用法hadoop fs [generic options]
新版本 用法hdfs dfs [generic options] 两套命令用法完全一致效果完全一样但某些特殊命令需要选择hadoop或hdfs命令。 3.1.3. 创建文件夹
用法 hadoop fs -mkdir [-p] path ... hdfs dfs -mkdir [-p] path ... path为待创建的目录 -p 选项意思与Linux的mkdir -p一样自动逐层创建对应的目录。 例如 hadoop fs -mkdir -p file:///home/hadoop/test 在Linux系统下创建/home/hadoop/test文件夹 hadoop fs -mkdir -p hdfs://node1:8020/itheima/bigdata 在HDFS中创建/itheima/bigdata文件夹 hdfs dfs -mkdir -p /home/hadoop/itcast 在HDFS中创建/home/hadoop/itcast文件夹
3.1.4. 查看指定目录下的内容
用法 hadoop fs -ls [-h] [-R] [path ...] hdfs dfs -ls [-h] [-R] [path ...] path为指定的目录路径 -h 人性化显示size -R 递归查看指定目录及其子目录。 例如 hdfs dfs -ls / 查看HDFS 根目录下的内容 hadoop fs -ls / 查看HDFS 根目录下的内容与上面等效 hdfs dfs -ls -R / 递归查看HDFS根目录下的内容 hdfs dfs -ls file:/// 查看当前这台Linux机器根目录下的内容 hdfs dfs -ls -h / 查看HDFS根目录下的内容当文件大小大于1k之后其大小会有单位便于人的阅读
3.1.5. 上传文件到HDFS指定目录下
用法 hadoop fs -put [-f] [-p] localsrc ... dst hdfs dfs -put [-f] [-p] localsrc ... dst -f 当目标文件已存在时覆盖目标文件 -p 保留访问和修改时间所有权和权限 localsrc 要上传的本地Linux系统文件的路径 dst 要保存在HDFS中的具体路径。 例如 hadoop fs -put file:///home/hadoop/test.txt hdfs://node1:8020/ 将本地/home/hadoop/下的test.txt文件上传到HDFS的根目录下的完整写法 hdfs dfs -put test2.txt / 将本地当前目录下的test2.txt文件上传到HDFS的根目录下 hdfs dfs -put -f test2.txt / 将本地目录下的test2.txt文件上传到HDFS的根目录下并强制覆盖原有的test2.txt文件
3.1.6. 查看HDFS中文件的内容
用法 hadoop fs -cat src ... hdfs dfs -cat src ... 读取大文件时可以使用管道符配合more hadoop fs -cat src | more hdfs dfs -cat src | more 例如 hadoop fs -cat /test.txt 查看HDFS根目录下test.txt文件的内容 hdfs dfs -cat /test2.txt | more 查看HDFS根目录下的test2.txt文件的内容可以翻页适用于查看大文件
3.1.7. 从HDFS下载文件到本地
用法 hadoop fs -get [-f] [-p] src ... localdst hdfs dfs -get [-f] [-p] src ... localdst -f 当目标文件已存在时覆盖目标文件 -p 保留访问和修改时间所有权和权限 src 要下载的HDFS文件路径 localdst 要保存在本地Linux系统中的路径。 例如 hadoop fs -get /test.txt . 将HDFS根目录下的test.txt文件下载到本地Linux系统的当前目录下 hadoop fs -get -f /test.txt . 将HDFS根目录下的test.txt文件下载到本地Linux系统的当前目录下若本地已存在test.txt则强制覆盖 hdfs dfs -get /test2.txt . 将HDFS根目录下的test2.txt文件下载到本地的当前目录下
3.1.8. 复制HDFS文件
用法 hadoop fs -cp [-f] src ... dst hdfs dfs -cp [-f] src ... dst -f 若目标文件存在则强制覆盖目标文件 src 被复制的文件路径 dst 要复制到的目标路径
