网站模板 黑色,旅游电商网站开发,建网站卖多少钱,o2o信息类平台有哪些一、前置安装准备1、机器2、java3、创建hadoop用户 二、安装Hadoop三、环境配置1、workers2、hadoop-env.sh3、core-site.xml4、hdfs-site.xml5、linux中Hadoop环境变量 四、启动hadoop五、验证 一、前置安装准备
1、机器
主机名ip服务node1192.168.233.100NameNode、DataNod… 一、前置安装准备1、机器2、java3、创建hadoop用户 二、安装Hadoop三、环境配置1、workers2、hadoop-env.sh3、core-site.xml4、hdfs-site.xml5、linux中Hadoop环境变量 四、启动hadoop五、验证 一、前置安装准备
1、机器
主机名ip服务node1192.168.233.100NameNode、DataNode、SecondaryNameNodenode2192.168.233.111DataNodenode3192.168.233.222DataNode
配置host
hostnamectl set-hostname node1vim /etc/hosts192.168.233.100 node1
192.168.233.111 node2
192.168.233.222 node3关闭防火墙关闭selinux
systemctl stop firewalld
systemctl disable firewalldvim /etc/sysconfig/selinux
SELINUXdisabled
setenforce 02、java
需要安装java
rz
tar -zxvf jdk-8u381-linux-x64.tar.gz -C /
ln -s /jdk1.8.0_381/ /jdk
# rm jdk-8u381-linux-x64.tar.gzvim /etc/profile
export JAVA_HOME/jdk
export PATH$PATH:$JAVA_HOME/bin
# source /etc/profile
ln -s /jdk/bin/java /usr/bin/java3、创建hadoop用户
后续hadoop程序用hadoop用户启动
uesradd hadoop
passwd hadoop # 123456su hadoop
ssh-keygen -t rsa -b 4096
ssh-copy-id 192.168.233.100
ssh-copy-id 192.168.233.111
ssh-copy-id 192.168.233.222二、安装Hadoop
Hadoop可以选择清华源或者官网下载官网
rz # 上传hadoop包到机器
tar -zxvf hadoop-3.3.6.tar.gz -C / # 解压到对应目录
ln -s /hadoop-3.3.6/ /hadoop # 创建软连接
# rm -rf hadoop-3.3.6.tar.gz 删除包[rootlocalhost hadoop]# ll /hadoop
total 92
drwxr-xr-x. 2 1000 1000 203 Jun 18 2023 bin # 存放hadoop命令
drwxr-xr-x. 3 1000 1000 20 Jun 18 2023 etc # 存放配置文件
drwxr-xr-x. 2 1000 1000 106 Jun 18 2023 include
drwxr-xr-x. 3 1000 1000 20 Jun 18 2023 lib
drwxr-xr-x. 4 1000 1000 4096 Jun 18 2023 libexec
-rw-rw-r--. 1 1000 1000 24276 Jun 13 2023 LICENSE-binary
drwxr-xr-x. 2 1000 1000 4096 Jun 18 2023 licenses-binary
-rw-rw-r--. 1 1000 1000 15217 Jun 9 2023 LICENSE.txt
-rw-rw-r--. 1 1000 1000 29473 Jun 9 2023 NOTICE-binary
-rw-rw-r--. 1 1000 1000 1541 Jun 9 2023 NOTICE.txt
-rw-rw-r--. 1 1000 1000 175 Jun 9 2023 README.txt
drwxr-xr-x. 3 1000 1000 4096 Jun 18 2023 sbin # 管理员程序
drwxr-xr-x. 4 1000 1000 31 Jun 18 2023 share
三、环境配置
均在 /hadoop/etc/hadoop 目录下
1、workers
配置DataNode 从节点以此告诉集群有多少个节点
vim etc/hadoop/workers# localhost
192.168.233.100
192.168.233.111
192.168.233.2222、hadoop-env.sh
配置Hadoop相关环境变量
vim etc/hadoop/hadoop-env.shexport JAVA_HOME/jdk
export HADOOP_HOME/hadoop
export HADOOP_CONF_DIR${HADOOP_HOME}/etc/hadoop
export HADOOP_LOG_DIR${HADOOP_HOME}/logs3、core-site.xml
Hadoop 核心配置文件
vim /hadoop/etc/hadoop/core-site.xmlconfigurationpropertynamefs.defaultFS/name # HDFS文件系统的网络通讯路径valuehdfs://192.168.233.100:8020/value # 表明datanode将和192.168.233:8020通讯该配置固定了192.168.233:8020是NameNode进程/propertypropertynameio.file.buffer.size/name # io操作文件缓冲区大小单位是bitvalue131072/value/property
/configuration 4、hdfs-site.xml
HDFS 核心配置文件
vim /hadoop/etc/hadoop/hdfs-site.xmlconfigurationpropertynamedfs.datanode.data.dir.perm/name # 定义hdfs文件系统默认创建文件的权限700value700/value/propertypropertynamedfs.namenode.name.dir/name # NameNode元数据存储位置在192.168.233.100/data/nm下value/data/nn/value/propertypropertynamedfs.namenode.hosts/name # namenode允许哪几个datanode连接定义允许加入集群value192.168.233.100,192.168.233.111,192.168.233.222/value/propertypropertynamedfs.blocksize/name # 定义block块大小256MBvalue268435456/value/propertypropertynamedfs.namenode.handler.count/name # 定义namenode处理的并发线程数value100/value/propertypropertynamedfs.datanode.data.dir/name # data数据存储目录value/data/dn/value/property/configuration
# node1
mkdir -p /data/nn
mkdir -p /data/dn# node2、node3
mkdir -p /data/dn5、linux中Hadoop环境变量
vim /etc/profileexport HADOOP_HOME/hadoop
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin# source /etc/profilechown -R hadoop:hadoop /jdk1.8.0_381
chown -R hadoop:hadoop /jdk
chown -R hadoop:hadoop /hadoop-3.3.6
chown -R hadoop:hadoop /hadoop
chown -R hadoop:hadoop /data四、启动hadoop
su hadoop
hadoop namenode -format # 格式化namenode
start-dfs.sh
# stop-dfs.sh 停止五、验证
