吴江网站制作,室内在线设计网站,佛山多语网站制作,要钱吗准备资源三台虚拟机#xff1a;
1#xff09;准备3台服务器#xff08;关闭防火墙、静态IP、主机名称#xff09;
2#xff09;安装JDK
3#xff09;配置环境变量
4#xff09;安装Hadoop
5#xff09;配置环境变量
安装虚拟机#xff08;略#xff09;--1台即…准备资源三台虚拟机
1准备3台服务器关闭防火墙、静态IP、主机名称
2安装JDK
3配置环境变量
4安装Hadoop
5配置环境变量
安装虚拟机略--1台即可执行完毕下述内容再克隆2台。
虚拟机准备完毕开始安装——
1-通过yum安装epel-release [rootkk ~]# yum install -y epel-release 注意如果Linux安装的是最小系统版还需要安装如下工具如果安装的是Linux桌面标准版不需要执行如下操作
Ø net-tool工具包集合包含ifconfig等命令,vim编辑器 [rootkk ~]# yum install -y net-tools [rootkk ~]#yum install -y vim 2-关闭防火墙关闭防火墙开机自启 [rootkk ~]# systemctl stop firewalld [rootkk ~]# systemctl disable firewalld.service 3-创建other用户并修改other用户的密码 [rootkk ~]# useradd others [rootkk ~]# passwd others 4-配置others用户具有root权限方便后期加sudo执行root权限的命令 [rootkk ~]# vim /etc/sudoers 修改/etc/sudoers文件在%wheel这行下面添加一行如下所示 %wheel ALL(ALL) ALL others ALL(ALL) NOPASSWD:ALL 5-在/opt目录下创建文件夹并修改所属主和所属组 (1)在/opt目录下创建module、software文件夹 [rootkk ~]# mkdir /opt/{module,sofeware} (2)修改module、software文件夹的所有者和所属组均为others用户 [rootkk ~]# chown others:others /opt/module [rootkk ~]# chown others:others /opt/software (3)查看module、software文件夹的所有者和所属组 [rootkk ~]# cd /opt/ [rootkk opt]# ll 6-卸载虚拟机自带的JDK
注意如果你的虚拟机是最小化安装不需要执行这一步。 [rootkk ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps Ø rpm -qa查询所安装的所有rpm软件包 Ø grep -i忽略大小写 Ø xargs -n1表示每次只传递一个参数 Ø rpm -e –nodeps强制卸载软件 7-重启虚拟机
[rootkk ~]# reboot 8-使用固定IP
1查看自己主机的IP地址网段和DNS--这一步在自己电脑的网络属性中查看即可
2修改静态的IP地址 [rootkk ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 改成 BOOTPROTOstatic IPADDR192.168.193.170 GATEWAY192.168.193.2 DNS1192.168.193.2 DNS28.8.8.8 另外两台的IP地址也如此修改 分别为192.168.193.176、192.168.193.177 每个人的都不同自己设置即可。 9-修改主机名以下以kk 为例子 [rootkk ~]# vim /etc/hostname hadoop1 配置Linux主机名称映射hosts文件打开/etc/hosts [roothadoop1 ~]# vim /etc/hosts 192.168.193.170 hadoop1 192.168.193.176 hadoop2 192.168.193.177 hadoop3 重启 hadoop1 [rootkk ~]# reboot 10-将JDK和hadoop 3.3.5 导入到opt目录下面的software文件夹下面 JDK需要到oracle 官方下载- Java Downloads | Oracle 这里本人下载了 jdk-8u391-linux-x64.tar.gz hadoop3.3.5 版本比较稳定也到官方下载 https://dlcdn.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz 查看软件包下面已经上传好的软件包 [roothadoop1 software]$ ls hadoop-3.3.5.tar.gz jdk-8u391-linux-x64.tar.gz 11-切换为配置的others 用户来做其他的操作 [roothadoop1 software]$ su others [othershadoop1 software]$ tar -zxvf jdk-8u391-linux-x64.tar.gz -C /opt/module [othershadoop1 software]$ tar -zxvf hadoop-3.3.5.tar.gz -C /opt/module 12-配置环境变量 [othershadoop1 hadoop-3.3.5]$ sudo vim /etc/profile.d/my_env.sh #JAVA_HOME export JAVA_HOME/opt/module/jdk1.8.0_371 export PATH$PATH:$JAVA_HOME/bin #HADOOP_HOME export HADOOP_HOME/opt/module/hadoop-3.3.5 export PATH$PATH:$HADOOP_HOME/bin export PATH$PATH:$HADOOP_HOME/sbin 配置完毕需要进行source ,之后配置文件才会生效 [othershadoop1 hadoop-3.3.5]$ source /etc/profile 若还有问题直接进行下重启-[othershadoop1 hadoop-3.3.5]$ sudo reboot 之后进入系统查询 java -version 和 hadoop version 可用后表示已经成功配置。 13-hadoop 文件夹重要目录说明
[othershadoop2 hadoop-3.3.5]$ ll
total 116
drwxr-xr-x. 2 others others 4096 Mar 16 2023 bin
drwxr-xr-x. 3 others others4096 Mar 15 2023 etc
drwxr-xr-x. 2 others others 4096 Mar 16 2023 include
drwxr-xr-x. 3 others others 4096 Mar 16 2023 lib
drwxr-xr-x. 4 others others 4096 Mar 16 2023 libexec
-rw-rw-r--. 1 others others 24496 Feb 25 2023 LICENSE-binary
drwxr-xr-x. 2 others others 4096 Mar 16 2023 licenses-binary
-rw-rw-r--. 1 others others 15217 Jul 17 2022 LICENSE.txt
-rw-rw-r--. 1 others others 29473 Jul 17 2022 NOTICE-binary
-rw-rw-r--. 1 others others 1541 Apr 22 2022 NOTICE.txt
-rw-rw-r--. 1 others others 175 Apr 22 2022 README.txt
drwxr-xr-x. 3 others others 4096 Mar 15 2023 sbin
drwxr-xr-x. 4 others others 4096 Mar 16 2023 share
drwxrwxr-x. 2 others others 4096 Dec 1 14:24 wcinput 1bin目录存放对Hadoop相关服务hdfsyarnmapred进行操作的脚本 2etc目录Hadoop的配置文件目录存放Hadoop的配置文件 3lib目录存放Hadoop的本地库对数据进行压缩解压缩功能 4sbin目录存放启动或停止Hadoop相关服务的脚本 5share目录存放Hadoop的依赖jar包、文档、和官方案例 Hadoop官方网站https://hadoop.apache.org/ https://hadoop.apache.org/docs/r3.3.5/hadoop-project-dist/hadoop-common/SingleCluster.html 2Hadoop运行模式包括本地模式、伪分布式模式以及完全分布式模式。 Ø 本地模式单机运行只是用来演示一下官方案例。生产环境不用。 Ø 伪分布式模式也是单机运行但是具备Hadoop集群的所有功能一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试生产环境不用。 Ø 完全分布式模式多台服务器组成分布式环境。生产环境使用。 14-克隆已经部署好的这台资源修改克隆机的hostname即可。 [roothadoop1 ~]# vim /etc/hostname hadoop2 另外一台修改为 hadoop3 即可。 以上就是hadoop 的部署。
