长春建设局网站处长,wordpress中文字设置,湘潭市高新建设局网站,公众号平台登录入口官网知识点#xff1a;
大数据基础环境准备
重 点#xff1a;
SSH免密码连接
安装配置JDK
安装配置Scala
项目开发测试环境为分布式集群环境#xff0c;在当前项目中使用多台基于CentOS 64bit 的虚拟机来模拟生产环境。在生产环境中建议使用高性能物理主机或云主机搭建集…知识点
大数据基础环境准备
重 点
SSH免密码连接
安装配置JDK
安装配置Scala
项目开发测试环境为分布式集群环境在当前项目中使用多台基于CentOS 64bit 的虚拟机来模拟生产环境。在生产环境中建议使用高性能物理主机或云主机搭建集群环境。
规划服务节点的功能和数量以及网络分配情况配置虚拟机的主机名称和网络确保各主机之间可以通过主机名和IP互相ping通配置各虚拟机之间可以SSH免密码连接在各虚拟机上安装JDK并配置环境变量
配置虚拟机的主机名称和网络
此步骤为了确保各主机之间可以通过主机名和IP互相ping通。 在所有节点上修改hosts文件添加主机名和IP地址的映射IP地址根据自已的实验环境进行设置可以使用ifconfig命令查看主机的IP地址如下图所示查看当前环境的IP地址 输入【vim /etc/hosts】命令修改/etc/hosts文件添加如下内容注意IP地址根据自己的实验环境进行设置
192.168.6.35 node1
192.168.5.132 node2
192.168.5.226 node3
192.168.1.59 client1
192.168.2.137 client2
192.168.1.40 client3
注意所有节点都要按上面的内容配置hosts文件。在每一个节点上使用ping命令分别去ping其它节点的主机名测试是否可以ping通例如
ping node2 按ctrlc结束进程即可。
配置SSH免密码连接
SSH免密码登录因为Hadoop需要通过SSH登录到各个节点进行操作我用的是root用户每台服务器都生成公钥再合并到authorized_keys。
输入命令【ssh-keygen -t rsa】生成key一直回车都不输入密码/root就会生成.ssh文件夹注意每台服务器都要设置例如 在client节点服务器合并公钥到authorized_keys文件进入/root/.ssh目录使用SSH命令合并如下所示
cd /root/.ssh
cat id_rsa.pub authorized_keys
使用ssh命令将其他节点的id_rsa.pub公钥合并到client节点的authorized_keys文件中
[rootclient1 .ssh]# ssh rootclient2 cat ~/.ssh/id_rsa.pub authorized_keys
[rootclient1 .ssh]# ssh rootclient3 cat ~/.ssh/id_rsa.pub authorized_keys
[rootclient1 .ssh]# ssh rootnode1 cat ~/.ssh/id_rsa.pub authorized_keys
[rootclient1 .ssh]# ssh rootnode2 cat ~/.ssh/id_rsa.pub authorized_keys
[rootclient1 .ssh]# ssh rootnode3 cat ~/.ssh/id_rsa.pub authorized_keys 将client节点服务器上/root/.ssh/目录下的authorized_keys、known_hosts复制到其他的节点服务器的/root/.ssh目录中在client节点上使用如下命令。
[rootclient1 .ssh]# scp -rq /root/.ssh/authorized_keys client2:/root/.ssh/
[rootclient1 .ssh]# scp -rq /root/.ssh/authorized_keys client3:/root/.ssh/
[rootclient1 .ssh]# scp -rq /root/.ssh/authorized_keys node1:/root/.ssh/
[rootclient1 .ssh]# scp -rq /root/.ssh/authorized_keys node2:/root/.ssh/
[rootclient1 .ssh]# scp -rq /root/.ssh/authorized_keys node3:/root/.ssh/
[rootclient1 .ssh]# scp -rq /root/.ssh/known_hosts client2:/root/.ssh/
[rootclient1 .ssh]# scp -rq /root/.ssh/known_hosts client3:/root/.ssh/
[rootclient1 .ssh]# scp -rq /root/.ssh/known_hosts node1:/root/.ssh/
[rootclient1 .ssh]# scp -rq /root/.ssh/known_hosts node2:/root/.ssh/
[rootclient1 .ssh]# scp -rq /root/.ssh/known_hosts node3:/root/.ssh/ 可以使用SSH命令连接其它节点例如 使用【exit】命令退出SSH连接。 在各虚拟机上安装JDK并配置环境变量
Hadoop 2.6需要JDK 1.6及以上版本如果系统自带Open JDK强烈建议使用JDK 1.8替换系统自带的Open JDK。
步骤一查询系统是否以安装jdk 步骤二如果没有安装过jdk则跳过此步骤如果安装过jdk则可以使用【rpm -e --nodeps 软件包名】命令卸载已安装的jdk步骤三验证一下是否还有jdk
步骤四在node1节点上直接解压下载的JDK并配置变量即可。具体的步骤如下
输入【cd /opt/software】命令进入软件安装目录。
输入【tar -zxvf jdk-8u301-linux-x64.tar.gz -C /opt/module】 命令解压
输入【vim /etc/profile】编辑profile文件配置JDK环境变量在文件尾部增加如下内容
export JAVA_HOME/opt/module/jdk1.8.0_301
export PATH$PATH:$JAVA_HOME/bin 输入【source /etc/profile】命令使配置生效。
输入【java -version】命令查看JDK的版本。 将node1节点上的JDK拷贝到其它服务器
[rootnode1 module]# scp -rq /opt/module/jdk1.8.0_301 node2:/opt/module/
[rootnode1 module]# scp -rq /opt/module/jdk1.8.0_301 node3:/opt/module/
[rootnode1 module]# scp -rq /etc/profile node2:/etc/
[rootnode1 module]# scp -rq /etc/profile node3:/etc/
在node2、node3执行【source /etc/profile】使环境变量生效。
