建站公司联系电话,无人机东莞网站建设,旅游网页设计照片,长沙市停课最新消息集群 计算机集群是一种计算机系统#xff0c;他通过一组松散集成的计算机软件和硬件连接起来高度紧密地协同完成计算工作。集群系统中的单个计算机通常称为节点#xff0c;通常通过局域网连接。集群技术的特点#xff1a;1、通过多台计算机完成同一个工作。达到更高的效率 2…集群 计算机集群是一种计算机系统他通过一组松散集成的计算机软件和硬件连接起来高度紧密地协同完成计算工作。集群系统中的单个计算机通常称为节点通常通过局域网连接。集群技术的特点 1、通过多台计算机完成同一个工作。达到更高的效率 2、两机或多机内容、工作过程等完全一样。如果一台死机另一台可以起作用 hadoop集群的物理分布 hadoop的分布式安装大致过程在《伪分布式安装Hadoop》基础上安装1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker 1.2 各节点重新产生ssh加密文件 1.3 编辑各个节点的/etc/hosts在该文件中含有所有节点的ip与hostname的映射信息 1.4 两两节点之间的SSH免密码登陆 ssh-copy-id -i hadoop1 scp /root/.ssh/authorized_keys hadoop1:/root/.ssh/ 1.5 把hadoop0的hadoop目录下的logs和tmp删除 1.6 把hadoop0中的jdk、hadoop文件夹复制到hadoop1和hadoop2节点 scp -r /usr/local/jdk hadoop1:/usr/local/ 1.7 把hadoop0的/etc/profile复制到hadoop1和hadoop2节点在目标节点中执行source /etc/profile 1.8 编辑hadoop0的配置文件slaves改为从节点的hostname分别是hadoop1和hadoop2 1.9 格式化在hadoop0节点执行hadoop namenode -format 1.10 启动在hadoop0节点执行start-all.sh ****注意对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。 2.动态的增加一个hadoop节点将hadoop0变成hadoop0的一个从节点 stop-all.sh 2.1 配置新节点的环境 2.2 把新节点的hostname配置到主节点的slaves文件中 2.3 在新节点启动进程 hadoop-daemon.sh start datanode hadoop-daemon.sh start tasktracker 2.4 在主节点执行脚本 hadoop dfsadmin -refreshNodes 3.动态的下架一个hadoop节点 kill -9 DataNode进程号 ****************************************************************** 集群搭建实际操作步骤在《伪分布式安装Hadoop》基础上安装 ****************************************************************** 这下面是自己实际搭建过程中的详细操作步骤1、Hadoop集群的搭建步骤在《伪分布式安装Hadoop》基础上将之前搭建的伪分布式Hadoop的虚拟机克隆多个。VM---虚拟机---管理---克隆---完整克隆 2、配置克隆的两个虚拟机的ip和修改三个虚拟机的主机名配置ip: hadoop0 192.168.80.100 hadoop1 192.168.80.101 hadoop2 192.168.80.102 IP配置好了重启网卡看是否配置成功。service network restart 修改主机名 vi /etc/sysconfig/network 修改完主机名后重启虚拟机reboot -h now 修改之前的虚拟机hadoop0主机名 vi /etc/sysconfig/network ---修改主机名 vi /etc/hosts ---修改ip和主机名的映射文件修改配置文件里的主机名 cd /usr/local/hadoop/conf vi core-site.xml vi mapred-site.xml修改完重启reboot -h now 将克隆的虚拟机中的一些文件删除掉cd /root/.ssh/lsrm -rf * cd /usr/local/lsrm -rf * 将hadoop1和hadoop2中的环境变量也删除掉vi /etc/profile 设置三个节点的免密码登录 ssh-keygen -t rsacd /root/.ssh/cat id_rsa.pub authorized_keys ---cat XXX YYY:向YYY文件中追加内容XXXssh localhostexitvi /etc/hosts ---先写好映射文件ssh hadoop1 ---再免密码登录时才会成功 hadoop0的主机名修改了所以也要重新设置免密码登录 三个虚拟机之间也应该要互相ping通互相能访问所以每个虚拟机的/etc/hosts中要有三个虚拟机的ip和主机名映射 1、手动修改三个虚拟机中的/etc/hosts vi /etc/hosts 192.168.80.100 hadoop0 192.168.80.101 hadoop1 192.168.80.102 hadoop2 2、然后需要将自己的公钥复制给对方这样自己访问对方的时候才不会要密码登录注意要是hadoop1和hadoop2没有网络连接需要关闭虚拟机重新将mac地址生成一次 hadoop0:ssh-copy-id -i hadoop1 ssh hadoop1 hadoop1:可以查看到是否有hadoop0的公钥 more authorzied_keys 这样hadoop0访问hadoop1的时候就可以直接访问不需要输入hadoop1的密码了。 同理在hadoop2中再操作一遍也能免密码登录hadoop1。 这样在hadoop1中more authorized_keys中就会有三个主机的公钥。为了简化操作可以将其复制给其他两个主机中 scp /root/.ssh/authorized_keys hadoop0:/root/.ssh/ scp /root/.ssh/authorized_keys hadoop2:/root/.ssh/ 将hadoop0中/usr/local/hadoop/下的logs和tmp删除掉:cd /usr/local/hadoop/rm -rf logs/rm -rf tmp/ 把hadoop0中的jdk、hadoop文件夹复制到其他两个节点scp -r /usr/local/jdk hadoop1:/usr/local/scp -r /usr/local/jdk hadoop2:/usr/local/scp -r /usr/local/hadoop hadoop1:/usr/local/scp -r /usr/local/hadoop hadoop2:/usr/local/ 将hadoop0中的环境变量复制到其他两个节点中scp /etc/profile hadoop1:/etc/scp /etc/profile hadoop2:/etc/复制完了以后在hadoop1和hadoop2中分别都执行source /etc/profile 在主节点hadoop0中/usr/local/hadoop/conf/下将slaves里面的localhost删除掉修改为hadoop1和hadoop2这两个从节点的主机名vi slaves hadoop1 hadoop2 在hadoop0中执行格式化操作hadoop namenode -format 再在hadoop0上执行start-all.sh就可以启动hadoop集群了 然后可以在各个节点上查看相关情况jps 也可以通过浏览器查看hadoop0:50070 需要在Windows中的hosts修改ip和主机名的映射 *可以将SecondaryNameNode改为其他的节点上可以是一个独立的主机这里将其改为hadoop1上 vi masters 将里面的localhost改为hadoop1 安全模式 在分布式文件系统启动的时候开始的时候会有安全模式当分布式文件系统处于安全模式的情况下文件系统中的内容不允许修改也不允许删除直到安全模式结 束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入 安全模式。在实践过程中系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示只需要等待一会儿即可。 NameNode在启动的时候首先进入安全模式如果datanode丢失的block达到一定的比例1- dfs.safemode.threshold.pct则系统会一直处于安全模式状态即只读状态。 dfs.safemode.threshold.pct缺省值0.999f表示HDFS启动的时候如果DataNode上报的block个数达到了 元数据记录的block个数的0.999倍才可以离开安全模式否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。 hadoop dfsadmin -safemode enter ---进入安全模式 hadoop dfsadmin -safemode leave ---离开安全模式 hadoop dfsadmin -safemode get ---查看安全模式状态 hadoop dfsadmin -safemode wait 转载于:https://www.cnblogs.com/ahu-lichang/p/6666910.html
