网站动态加速,中国万网域名注册免费,思创医惠网站建设,个人不良信息举报网站实验环境
三台虚拟机
master
slave1
slave2
服务器集群单节点#xff0c;机器最低配置#xff1a;双核 CPU、8GB 内存、100G 硬盘运行环境CentOS 7.4服务和组件服务和组件根据实验需求安装
1实验过程 1.1实验任务一#xff1a;配置 Linux 系统基础环境
1.1.1步骤一机器最低配置双核 CPU、8GB 内存、100G 硬盘运行环境CentOS 7.4服务和组件服务和组件根据实验需求安装
1实验过程 1.1实验任务一配置 Linux 系统基础环境
1.1.1步骤一查看服务器的 IP 地址
[rootlocalhost ~]# ip add show
1: lo: LOOPBACK,UP,LOWER_UP mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00inet 127.0.0.1/8 scope host lovalid_lft forever preferred_lft foreverinet6 ::1/128 scope host valid_lft forever preferred_lft forever
2: eth0: BROADCAST,MULTICAST,UP,LOWER_UP mtu 1500 qdisc pfifo_fast state UP group default qlen 1000link/ether 00:0c:29:ed:e5:78 brd ff:ff:ff:ff:ff:ffinet 192.168.10.10/24 brd 192.168.10.255 scope global noprefixroute eth0valid_lft forever preferred_lft foreverinet6 fe80::f5b:c223:8f69:72a4/64 scope link noprefixroute valid_lft forever preferred_lft forever
3: eth1: BROADCAST,MULTICAST,UP,LOWER_UP mtu 1500 qdisc pfifo_fast state UP group default qlen 1000link/ether 00:0c:29:ed:e5:82 brd ff:ff:ff:ff:ff:ffinet 192.168.20.10/24 brd 192.168.20.255 scope global noprefixroute eth1valid_lft forever preferred_lft foreverinet6 fe80::6c8d:f07:f2c8:5650/64 scope link noprefixroute valid_lft forever preferred_lft forever
我们这里是使用了两张网卡如果自己搭配的话一张网卡就够用了使用NAT模式 1.1.2步骤二设置服务器的主机名称 三个节点执行
#master[rootlocalhost ~]# hostnamectl set-hostname master
[rootlocalhost ~]# bash
[rootmaster ~]# hostname
master#slave1[rootlocalhost ~]# hostnamectl set-hostname slave1
[rootlocalhost ~]# bash
[rootslave1 ~]# hostname
slave1#slave2[rootlocalhost ~]# hostnamectl set-hostname slave2
[rootlocalhost ~]# bash
[rootslave2 ~]# hostname
slave2 1.1.3步骤三绑定主机名与 IP 地址
三个节点执行
#以master为例[rootmaster ~]# vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6#添加下面内容
192.168.10.10 master
192.168.10.20 slave1
192.168.10.30 slave2 1.1.4步骤四查看 SSH 服务状态
SSH 为 Secure Shell 的缩写是专为远程登录会话和其他网络服务提供安全性 的协议。一般的用法是在本地计算机安装 SSH 客服端在服务器端安装 SSH服 务然后本地计算机利用 SSH 协议远程登录服务器对服务器进行管理。这样可 以非常方便地对多台服务器进行管理。同时在 Hadoop 分布式环境下集群中的 各个节点之间节点可以看作是一台主机需要使用 SSH 协议进行通信。因此 Linux 系统必须安装并启用 SSH 服务。
CentOS 7 默认安装 SSH 服务可以使用如下命令查看 SSH 的状态 同样是三个节点都要查看是否开启以免影响后面操作
[rootmaster ~]# systemctl status sshd
● sshd.service - OpenSSH server daemonLoaded: loaded (/usr/lib/systemd/system/sshd.service; enabled; vendor preset: enabled)Active: active (running) since 五 2024-03-22 19:35:33 CST; 2h 42min agoDocs: man:sshd(8)man:sshd_config(5)Main PID: 65265 (sshd)CGroup: /system.slice/sshd.service└─65265 /usr/sbin/sshd -D......
1.1.5步骤五关闭防火墙
三个节点执行
Hadoop 可以使用 Web 页面进行管理但需要关闭防火墙否则打不开 Web 页面。 同时不关闭防火墙也会造成 Hadoop 后台运行脚本出现莫名其妙的错误。关闭命令如 下
systemctl stop firewalld
systemctl disable firewalld
关闭防火墙后要查看防火墙的状态确认一下
systemctl status firewalld看到 inactive (dead)就表示防火墙已经关闭。不过这样设置后Linux 系统如 果重启防火墙仍然会重新启动。执行如下命令可以永久关闭防火墙。
1.1.6步骤六创建 hadoop 用户
三个节点执行
#master
rootmaster ~]# useradd hadoop //创建用户
[rootmaster ~]# echo 1 |passwd --stdin hadoop //给用户设置密码#slave1
rootslave1 ~]# useradd hadoop
[rootslave1 ~]# echo 1 |passwd --stdin hadoop#slave2
rootslave2 ~]# useradd hadoop
[rootslave2 ~]# echo 1 |passwd --stdin hadoop1.2安装 JAVA 环境 1.2.1步骤一下载 JDK 安装包
JDK 安 装 包 需 要 在 Oracle 官 网 下 载 下 载 地 址 为 20 https://www.oracle.com/java /technologies /javase-jdk8-downloads.html本教材采用 的 Hadoop 2.7.1 所需要的 JDK 版本为 JDK7 以上这里采用的安装包为 jdk-8u152-linuxx64.tar.gz。 1.2.2步骤二卸载自带 OpenJDK
#如果用户在此之前做过其他服务可能留有安装包
但是如果是新的虚拟机或者是最小化安装
则没有这些安装包也就不需要下面的操作[rootmaster ~]# rpm -qa | grep java
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64
tzdata-java-2022e-1.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.352.b08-2.el7_9.x86_64#注意在这里有些虚拟机可能没有这些包
那么则不需要执行以下操作如果有相关安装包
则执行下面的代码卸载相关服务键入命令
[rootmaster ~]# rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch
[rootmaster ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64
[rootmaster ~]# rpm -e --nodeps tzdata-java-2022e-1.el7.noarch
[rootmaster ~]# rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch
[rootmaster ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.352.b08-2.el7_9.x86_64
[rootmaster ~]# rpm -qa | grep java 查看删除结果再次键入命令 java -version 出现以下结果表示删除功
[rootmaster ~]# java --version
bash: java: 未找到命令 1.2.3步骤三安装 JDK
Hadoop 2.7.1 要求 JDK 的版本为 1.7 以上这里安装的是 JDK1.8 版 即JAVA 8。
安装命令如下将安装包解压到/usr/local/src 目录下 注意/opt/software目录 下的软件包事先准备好。
[rootmaster ~]# tar -zxvf /opt/software/jdk-8u152-linux-x64.tar.gz -C /usr/local/src/[rootmaster ~]# ls /usr/local/src/
jdk1.8.0_152 #改名,方便后续操作名字简洁根据需要也可不改
[rootmaster ~]# mv /usr/local/src/jdk1.8.0_152 /usr/local/src/jdk 1.2.4步骤四设置 JAVA 环境变量
在 Linux 中设置环境变量的方法比较多较常见的有两种一是配置 /etc/profile 文件配置结果对整个系统有效系统所有用户都可以使用二 21 是配置~/.bashrc 文件配置结果仅对当前用户有效。这里使用第一种方法。
[rootmaster ~]# vim /etc/profile
在文件的最后增加如下两行
export JAVA_HOME/usr/local/src/jdk
export PATH$PATH:$JAVA_HOME/bin 执行 source 使设置生效
[rootmaster ~]# source /etc/profile 检查 JAVA 是否可用。
[rootmaster ~]# echo $JAVA_HOME
/usr/local/src/jdk1.8.0_152
[rootmaster ~]# java -version
java version 1.8.0_152
Java(TM) SE Runtime Environment (build 1.8.0_152-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)
能够正常显示 Java 版本则说明 JDK 安装并配置成功。 2安装 Hadoop 软件 2.1实验任务一获取 Hadoop 安装包
Apache Hadoop 各 个 版 本 的 下 载 网 址 https://archive.apache.org/dist/hadoop /common/。本教材选用的是 Hadoop 2.7.1 版本安装包为 hadoop-2.7.1.tar.gz。需要先下载 Hadoop 安装包再上传到 Linux 系统的/opt/software 目录。具体的方法见前一节“实验一 Linux 操作系统环境 设置”这里就不再赘述。
2.2实验任务二安装 Hadoop 软件
2.2.1步骤一安装 Hadoop 软件 安装命令如下将安装包解压到/usr/local/src/目录下
[rootmaster ~]# tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/ #改名
[rootmaster ~]# mv /usr/local/src/hadoop-2.7.1 /usr/local/src/hadoop[rootmaster ~]# ll /usr/local/src/
总用量 0
drwxr-xr-x. 12 10021 10021 183 3月 22 20:35 hadoop
drwxr-xr-x. 8 10 143 255 9月 14 2017 jdk[rootmaster ~]# ll /usr/local/src/hadoop
总用量 28
drwxr-xr-x. 2 10021 10021 194 3月 29 2015 bin
drwxr-xr-x. 3 10021 10021 20 3月 29 2015 etc
drwxr-xr-x. 2 10021 10021 106 3月 29 2015 include
drwxr-xr-x. 3 10021 10021 20 3月 29 2015 lib
drwxr-xr-x. 2 10021 10021 239 3月 29 2015 libexec
-rw-r--r--. 1 10021 10021 15429 3月 29 2015 LICENSE.txt
-rw-r--r--. 1 10021 10021 101 3月 29 2015 NOTICE.txt
-rw-r--r--. 1 10021 10021 1366 3月 29 2015 README.txt
drwxr-xr-x. 2 10021 10021 4096 3月 29 2015 sbin
drwxr-xr-x. 4 10021 10021 31 3月 29 2015 share
bin此目录中存放 Hadoop、HDFS、YARN 和 MapReduce 运行程序和管理 软件。
etc存放 Hadoop 配置文件。
include: 类似 C 语言的头文件
lib本地库文件支持对数据进行压缩和解压。
libexe同 lib
sbinHadoop 集群启动、停止命令
share说明文档、案例和依赖 jar 包。 2.2.2步骤二配置 Hadoop 环境变量
和设置 JAVA 环境变量类似修改/etc/profile 文件
[rootmaster ~]# vi /etc/profile在文件的最后增加如下两行export HADOOP_HOME/usr/local/src/hadoop-2.7.1
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin执行 source 使用设置生效
[rootmaster ~]# source /etc/profile检查设置是否生效
[rootmaster ~]# hadoop
Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]CLASSNAME run the class named CLASSNAME
orwhere COMMAND is one of:fs run a generic filesystem user clientversion print the versionjar jar run a jar filenote: please use yarn jar to launchYARN applications, not this command.checknative [-a|-h] check native hadoop and compression libraries
availabilitydistcp srcurl desturl copy file or directories recursivelyarchive -archiveName NAME -p parent path src* dest create a hadoop
archiveclasspath prints the class path needed to get thecredential interact with credential providersHadoop jar and the required librariesdaemonlog get/set the log level for each daemontrace view and modify Hadoop tracing settings
Most commands print help when invoked w/o parameters.[rootmaster ~]#
出现上述 Hadoop 帮助信息就说明 Hadoop 已经安装好了2.2.3步骤三修改目录所有者和所有者组
上述安装完成的 Hadoop 软件只能让 root 用户使用要让 hadoop 用户能够 运行 Hadoop 软件需要将目录/usr/local/src 的所有者改为 hadoop 用户。 [rootmaster ~]# chown -R hadoop:hadoop /usr/local/src/
