做seo推广手机网站,易优建站,网站的弹窗是用什么软件做的,建设网站龙华1.1 安装环境
操作系统deepin 15.11, VMware Workstation#xff0c;hadoop 3.1.3 版本。在deepin 操作系统中安装 VMware Workstation#xff0c;在 VMware Workstation中安装两个deepin系统#xff0c;采用两个节点作为集群环境#xff0c;一个作为Master节点#xff0…1.1 安装环境
操作系统deepin 15.11, VMware Workstationhadoop 3.1.3 版本。在deepin 操作系统中安装 VMware Workstation在 VMware Workstation中安装两个deepin系统采用两个节点作为集群环境一个作为Master节点一个作为Slave 节点。
1.2 hadoop的安装准备
在Master节点和Slave节点都需要进行如下准备工作主要是配置hadoop用户安装SSH server和安装Java 环境。
在安装虚拟机系统时每个系统都创建hadoop用户。选择一个节点作为Master, ctrlaltt打开终端通过命令行方式进行安装更新apt执行如下命令。 sudo apt-get update 安装vim ,用于后续修改配置文件。 sudo apt-get install vim安装SSH并登录主机。 sudo apt-get install openssh-serverssh localhost 配置SSH无密码登录由于hadoop 远程登录只能无密码登录因此需要配置无密登录。 退出登录: exitcd ~/.ssh/sh-keygen -t rsacat ./id_rsa.pub ./authorized_keys安装Java 环境采用jdk-8u162-linux-x64.tar.gz,在Documents/目录下。 cd /usr/libsudo mkdir jvmcd ~/Documents/sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm配置环境变量在配置文件开头位置添加如下内容。 打开配置文件 cd ~vim ~/.bashrc
添加内容export JAVA_HOME/usr/lib/jvm/jdk1.8.0_162export JRE_HOME${JAVA_HOME}/jreexport CLASSPATH.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH${JAVA_HOME}/bin:$PATH查看jdk是否安装成功。 Java -version1.3 安装Hadoop 在Master 节点安装hadoop ,并把/usr/local/中的hadoop 文件夹复制到其他Slave节点的/usr/local目录下。
hadoop-3.1.3.tar.gz 在目录~/Documents/下,安装到/usr/local目录下。 cd ~/Documents/sudo tar zxf hadoop3.1.3.tar.gz -C /usr/local修改文件夹名并修改文件的权限。 cd /usr/local/sudo mv ./hadoop-3.1.3/ ./hadoopsudo chown -R hadoop ./hadoop查看是否安装成功。 cd /usr/local/hadoop./bin/hadoop version1.4 Hadoop集群配置
网络配置配置每个节点的网络采用桥接来实现节点之间的互联通过NAT模式连接网络。 )通过Edit-Virtual Netwrok Editor点击Add Network添加一个网络设置连接方式为桥接。 )设置vmnet8中的子网号为192.168.138.0子网掩码255.255.255.0和网关192.168.138.133点击NAT Setting即可设置网关。 配置需要每个节点主机的IP 地址在子网192.168.138.0下设置IP地址Master 节点的IP为:192.168.138.128, Slave节点的IP 为:192.168.138.131。 )通过ifconfig来查看网卡的IP地址如下图所示ens33即为桥接网卡。 2)节点计算机静态IP 配置执行如下命令打开配置文件。 Master节点:
sudo vim /etc/network/interfaces
添加内容:
auto ens33
iface ens33 inet static
address 192.168.138.128通过如下命令使设置生效,出现OK字样则成功:
sudo /etc/init.d/networking restartSlave节点 用同样的方法设置添加的内容为:
auto ens33
iface ens33 inet static
address 192.168.138.131修改主机名将Master节点的主机名为Master,将Slave节点的主机名改为Slave,分别在两个节点中执行如下命令。 sudo vim /etc/hostname在Master节点和Slave节点修改自己节点的IP 映射添加如下相同内容。 执行如下命令注释掉文件中除127.0.0.1 localhost 的其他的IP 地址映射。 sudo vim /etc/hosts添加IP映射:192.168.138.128 Master192.168.138.131 Slave重启每个节点完成主机名更新。测试每个节点是否能Ping 通通过如下命令测试。 ping Master -c 3ping Slave -c 3 SSH无密吗登录节点配置Master 节点可以远程登录其他Slave节点。由于修改过主机名所以需要删除原来的SSH 公钥。在Master节点执行如下命令生成公钥。 cd ~/.sshrm ./id_rsa*ssh-keygen -t rsa让Master 节点能无密登录SSH 本机在Master节点执行如下命令. cat ./id_rsa.pub ./authorized_keys通过远程拷贝文件将主机Master ssh公钥传输到Slave 节点。 scp ~/.ssh/id_rsa.pub hadoopSlave:/home/hadoop/在Slave 节点将 ssh 公钥加入授权执行如下命令,需要删除原先SSH公钥。 mkdir ~/.sshcat ~/id_rsa.pub ~/.ssh/authorized_keysrm ~/id_rsa.pub11. 在Master 节点上测试远程登录Slave 节点,可以看到主机名改变为Slave。 ssh Slave12. 在Master节点配置hadoop 的PATH 变量则可以直接使用hadoop,hdfs 相关命令而不需要转到相关目录。 打开配置文件: vim ~/.bashrc添加内容export PATH$PATH:/usr/local/hadoop/bin:/usr/loacl/hadoop/sbin使配置生效:source ~/.bashrc在Master节点修改配置目录/usr/local/hadoop/etc/hadoop目录下的个配置文件。
workers 文件 Master作为NameNode,Slave作为 DataNode。将DataNode的主机名写入workers 文件删除localhost。添加如下内容。 Slavecore-site.xml 修改标签中的内容如下。 configurationpropertynamefs.defaultFS/namevaluehdfs://Master:9000/value/propertypropertynamehadoop.tmp.dir/namevaluefile:/usr/local/hadoop/tmp/valuedescriptionAbase for other temporary directories./description/property/configuration hdfs-site.xml 修改标签中的内容如下。 configurationpropertynamedfs.namenode.secondary.http-address/namevalueMaster:50090/value/propertypropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevaluefile:/usr/local/hadoop/tmp/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevaluefile:/usr/local/hadoop/tmp/dfs/data/value/property/configurationmapred-site.xml 修改标签中的内容如下。 configurationpropertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynamemapreduce.jobhistory.address/namevalueMaster:10020/value/propertypropertynamemapreduce.jobhistory.webapp.address/namevalueMaster:19888/value/property/configurationyarn-site.xml 修改标签中的内容如下。 configurationpropertynameyarn.resourcemanager.hostname/namevalueMaster/value/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property/configuration在Master节点通过远程拷贝Master 节点的/usr/loacl/hadoop目录到其他Slave 节点。首先先删除之前的临时文件和日志。 cd /usr/localsudo rm -r ./hadoop/tmpsudo rm -r ./hadoop/logs/*tar -zcf ~/hadoop.master.tar.gz ./hadoopcd ~scp ./hadoop.master.tar.gz Slave:/home/hadoop在Slave 节点解压文件。 sudo rm -r /usr/local/hadoopsudo tar -zxf ~/hadoop.master.tar.gz -C /usr/localsudo chown -R hadoop /usr/local/hadoop在Master 节点执行 NameNode 的格式化。 hdfs namenode -format17. 在Master 节点上启动hadoop 集群执行如下命令。 start-dfs.shstart-yarn.shmr-jobhistory-daemon.sh start historyserver18. 通过jps 查看集群的节点启动的进程信息分别在Master 和 Slave 节点执行jps。 Master 节点: Slave 节点:
在Master节点查看集群的DataNode 是否正常启动。 hdfs dfsadmin -report通过网页查看Slave 节点的相关信息
关闭hadoop集群。 stop-yarn.shstop-dfs.shmr-jobhistory-daemon.sh stop historyserver或者通过如下命令关闭集群。stop-all.sh1.5 总结
问题1:
Master 节点NameNode 没有启 动DataNode节点却启动了执行hdfs dfsadmin -report命令出现如下信息 report:Call From Master/192.168.138.128 to Master:9000 failed on connection exception: java.net.ConnectException:拒绝连接For more details see :http://wiki.apache.org/hadoop/ConnectionRefused
解决分析发现我没有配置slaves文件在hadoop3.1.3版本中不存在slaves文件通过网络查询资料以及和同学交流我发现slaves文件更改成了workes文件因此配置workes文件由于前后操作不当因此导致了此问题。通过如下方式解决 关闭集群删除临时文件和日志重新执行hdfs namenode -format.
问题:
当关机重启后集群无法启动无法ping 通
解决分析发现各节点的IP发生了变化导致 集群无法启动是由于采用了NAT 进行网络连接NAT模式在每次重启计算机会动态分配IP 地址采用桥接来实现各节点的连通配置静态IP.
参考文献
厦门大学数据库实验室http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ 网络配置https://www.cnblogs.com/guangluwutu/p/9705136.html https://www.cnblogs.com/lilongxin/p/9034245.html
