上海网站开发与设计,山东省专业群建设网站,网站建设需要哪些书籍,网页传奇新开服1.文档编写目的Fayson在两年前的文章中介绍过CDH的卸载#xff0c;参考《如何卸载CDH(附一键卸载github源码)》。除非你是使用Cloudera官方提供的一键安装脚本安装的CDH#xff0c;否则并没有现成的一键卸载的脚本供使用。为了更好的理解CDH的卸载#xff0c;这里再次简单介…1.文档编写目的Fayson在两年前的文章中介绍过CDH的卸载参考《如何卸载CDH(附一键卸载github源码)》。除非你是使用Cloudera官方提供的一键安装脚本安装的CDH否则并没有现成的一键卸载的脚本供使用。为了更好的理解CDH的卸载这里再次简单介绍一下CDH的安装CDH的安装分为Cloudera Manager或Agent的安装以及CDH的Parcel的安装Manager和Agent我们一般是使用rpm安装的而CDH的安装则使用Parcel。我们在卸载CDH的时候一般会先从Cloudera Manager里停止集群删除集群以及移除所有相关的Parcel然后在各台机器移除Cloudera Manager和Agent相关的rpm以及安装的依赖包最后删除各台机器上与CDH相关的目录要理解CDH的各个安装目录可以参考Fayson之前的文章《0509-深入分析CDH的安装目录》。本文Fayson主要介绍如何卸载Cloudera Manager6.1以及CDH6.1。测试环境1.Redhat7.42.采用root用户操作3.CM/CDH6.12.用户数据备份2.1.备份HDFS数据常见的备份HDFS数据有如下办法1.使用distcp将数据拷贝到另外一个Hadoop集群。2.将数据拷贝到其他存储设备。3.将数据分批导出到各台主机的各个磁盘上以上三种方法你也可以只使用于关键数据具体使用哪种方法大家根据自己集群的规模和数据量大小可以具体选择。2.2.备份NameNode元数据1.登录到Active NameNode节点将HDFS进入安全模式并且将所有edits修改都flush到fsimage。#因为集群启用了Kerberos所以需要使用HDFS的keytab登录到hdfs用户才能执行管理员相关的操作[rootip-172-31-6-83 ~]# klistTicket cache: FILE:/tmp/krb5cc_0Default principal: hdfs/ip-172-31-6-83.ap-southeast-1.compute.internalFAYSON.COMValid starting Expires Service principal04/20/2019 22:06:23 04/21/2019 22:06:23 krbtgt/FAYSON.COMFAYSON.COM renew until 04/25/2019 22:06:23You have new mail in /var/spool/mail/root#进入safemode模式[rootip-172-31-6-83 ~]# hdfs dfsadmin -safemode enterSafe mode is ON in ip-172-31-4-105.ap-southeast-1.compute.internal/172.31.4.105:8020Safe mode is ON in ip-172-31-6-83.ap-southeast-1.compute.internal/172.31.6.83:8020#将所有edits修改flush到fsimage[rootip-172-31-6-83 ~]# hdfs dfsadmin -saveNamespaceSave namespace successful for ip-172-31-4-105.ap-southeast-1.compute.internal/172.31.4.105:8020Save namespace successful for ip-172-31-6-83.ap-southeast-1.compute.internal/172.31.6.83:8020[rootip-172-31-6-83 ~]#2.将NameNode元数据进行备份根据自己集群NameNode目录进行如下操作[rootip-172-31-6-83 ~]# mkdir namenode_backYou have new mail in /var/spool/mail/root[rootip-172-31-6-83 ~]# cd namenode_back/[rootip-172-31-6-83 namenode_back]# tar czvf nn_bak.tar.gz /dfs/nn/*2.3.备份MySQL元数据[rootip-172-31-6-83 ~]# mkdir mysql_back[rootip-172-31-6-83 ~]# cd mysql_back#-u后面是mysql用户名-p单引号中是用户对应的密码metastore为库名metastore.sql为备份输出文件[rootip-172-31-6-83 mysql_back]# mysqldump -uroot -p123456 metastore metastore.sql[rootip-172-31-6-83 mysql_back]# mysqldump -uroot -p123456 cm cm.sql[rootip-172-31-6-83 mysql_back]# mysqldump -uroot -p123456 rm rm.sql#执行完成后产生如下sql文件[rootip-172-31-6-83 mysql_back]# lltotal 49988-rw-r--r-- 1 root root 50334369 Apr 20 22:15 cm.sql-rw-r--r-- 1 root root 67402 Apr 20 22:15 metastore.sql-rw-r--r-- 1 root root 781640 Apr 20 22:16 rm.sql[rootip-172-31-6-83 mysql_back]#注如果有HueSentryNavigator数据库可以同样备份。2.4.备份CDH集群配置数据通过Cloudera Manager提供的API接口导出一份JSON文件该文件包含Cloudera Manager所有与部署相关的所有信息如所有主机集群服务角色用户设置等等。可以通过这份JSON文件备份或恢复Cloudera Manager的整个部署。备份集群配置数据1.登录到Cloudera Manager所在服务器运行如下命令[rootip-172-31-6-83 mysql_back]# curl -u admin:admin http://172.31.6.83:7180/api/v31/cm/deployment ./cm-deployment.json % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed100 73388 0 73388 0 0 1363k 0 --:--:-- --:--:-- --:--:-- 1352k[rootip-172-31-6-83 mysql_back]# ll cm-deployment.json -rw-r--r-- 1 root root 73388 Apr 20 22:36 cm-deployment.json[rootip-172-31-6-83 mysql_back]#admin: 登录到Cloudera Manager的用户名admin: 对应admin_username用户的密码172.31.6.83: 是Cloudera Manager服务器的主机IP./cm-deployment.json: 保存配置文件的路径和文件名将上述提到的四个参数修改当前集群对应的信息即可恢复集群配置数据注意此功能只有Cloudera许可证才可以使用1.进入Cloudera Manager管理平台停止集群服务。注意如果在进行API调用操作之前未停止集群那么API调用将在运行作业之前停止所有集群服务任何运行的作业和数据都会丢失。2.登录到Cloudera Manager所在的服务器执行以下命令。[rootip-172-31-6-83 mysql_back]# curl -H Content-Type: application/json --upload-file ./cm-deployment.json -u admin:admin http://172.31.6.83:7180/api/v31/cm/deployment?deleteCurrentDeploymenttrue注意卸载CDH并不需要执行这一步骤还原集群相关配置放在这里仅供参考。3.记录用户数据目录在后面的章节正式开始卸载时各个组件的用户数据目录会删除。主要包括如/var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper data_drive_path/dfs data_drive_path/mapred data_drive_path/yarn默认配置是在这些路径下。但是有些时候你可能通过Cloudera Manager重新进行了配置。如果卸载集群时需要完全删除这些数据目录或者为了保证你卸载后马上重新安装能成功一旦你进行了个性化配置你需要在Cloudera Manager中仔细检查这些目录配置并记录。4.停止所有服务4.1.停止集群服务1.登录到Cloudera Manager并停止整个集群服务。2.点击“停止”3.等待所有服务都正常被停止。4.2.停止Cloudera Management Service1.登录到Cloudera Manager并停止CMS服务。2.点击“停止”3.等待所有服务都正常被停止。5.停用并移除所有Parcel1.登录Cloudera Manager主页并进入Parcel页面。2.“停用”CDH6的Parcel。3.“从主机删除”CDH6的Parcel4.“删除”CDH6的Parcel。注如果你的集群中还有其他Parcel比如KuduKafkaCDSW或者Spark你需要将上面的步骤都做一遍即“停用”-“从集群中删除”-“删除”。6.删除集群1.登录到Cloudera Manager并删除整个集群。2.删除成功后通过Cloudera Manager已经看不到集群。7.卸载Cloudera Manager Server1.登录到Cloudera Manager节点然后停止CM Server服务。[rootip-172-31-6-83 ~]# systemctl stop cloudera-scm-server2.移除Cloudera Manager Server相关包。[rootip-172-31-6-83 ~]# yum -y remove cloudera-manager-server8.卸载Cloudera Manager Agent和其管理的软件1.在所有节点停止Cloudera Manager Agent服务[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list systemctl stop supervisord2.在所有节点运行清除Cloudera所管理软件的命令。[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list yum -y remove cloudera-manager-*3.所有节点运行clean命令。[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list yum clean all9.移除Cloudera Manager和用户数据9.1.Kill Cloudera Manager和相关服务的进程1.在所有节点执行以下脚本。for u in cloudera-scm flume hadoop hdfs hbase hive httpfs hue impala llama mapred oozie solr spark sqoop sqoop2 yarn zookeeper; do sudo kill $(ps -u $u -o pid); done注如果按照前面的步骤都是正常停止CDH相关服务该步骤可以不用执行。9.2.移除Cloudera Manager数据1.在所有节点执行umount命令以下采用批量脚本执行。[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list umount cm_processes[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list df -hl 注可能要多次执行或者要稍微等待一会才能umount成功。1.在所有节点删除Cloudera Manager数据。[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* /var/log/cloudera* /var/run/cloudera*9.3.移除Cloudera Manager Lock文件1.在所有节点执行删除命令以下采用批量脚本执行。[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list rm /tmp/.scm_prepare_node.lock9.4.移除用户数据1.在所有节点执行删除命令以下采用批量脚本执行。[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list rm -rf /var/lib/flume-ng /var/lib/hadoop* /var/lib/hue /var/lib/navigator /var/lib/oozie /var/lib/solr /var/lib/sqoop* /var/lib/zookeeper /var/lib/hbase /var/lib/hive* /var/lib/impala /var/lib/llama /var/lib/sentry /var/lib/spark* /var/lib/kafka /var/lib/kudu2.在所有节点执行删除Hadoop相关数据命令以下采用批量脚本执行。[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list rm -rf /dfs /yarn /impala注根据实际情况该步骤每台数据节点可能会有多个DataNode或者YARN临时文件或者Impala临时文件目录完全卸载需要都删除。3.在所有节点删除/etc下的配置文件。[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list rm -rf /etc/cloudera* /etc/flume* /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/kafka /etc/kudu /etc/mahout /etc/spark* /etc/llama /etc/solr /etc/sentry4.在所有节点删除/var/log下的日志文件夹。[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list rm -rf /var/log/cloudera* /var/log/hadoop* /var/log/hbase /var/log/hive /var/log/hue* /var/log/impala* /var/log/kudu /var/log/oozie /var/log/spark* /var/log/zookeeper /var/log/kafka5.在所有节点删除/opt/cloudera下的安装文件。[rootip-172-31-6-83 shell]# sh ssh_do_all.sh node.list rm -rf /opt/cloudera*6.卸载外部数据库MySQL并删除相关数据。[rootip-172-31-6-83 ~]# systemctl stop mariadb [rootip-172-31-6-83 ~]# yum -y remove maria*[rootip-172-31-6-83 ~]# rm -rf /var/lib/mysql*至此CDH6.1卸载完毕。参考https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_uninstall_cm.html
