文化建设 设计公司网站,推荐seo关键词优化,设计人才网站,石家庄互联网传销多少律师文章目录 [toc]一、CM简介1、ClouderaManager的概念2、ClouderaManager的功能3、ClouderaManager的架构 二、准备清单1、部署步骤2、集群规划3、软件环境准备 三、安装清单1、操作系统iso包2、JDK包3、MySQL包4、CM和CDH包5、部署ansible 四、基础环境准备1、配置网络2、配置ho… 文章目录 [toc]一、CM简介1、ClouderaManager的概念2、ClouderaManager的功能3、ClouderaManager的架构 二、准备清单1、部署步骤2、集群规划3、软件环境准备 三、安装清单1、操作系统iso包2、JDK包3、MySQL包4、CM和CDH包5、部署ansible 四、基础环境准备1、配置网络2、配置host解析3、关闭防火墙4、配置swap5、关闭透明大页6、 配置最大进程数和最大文件句柄数7、禁用atime(暂时不操作)8、搭建私有源1配置centos源(h1)2安装httpd3centos源配置为http方式获取4部署离线parcel源5生成repodata文件6配置cm服务端源7配置cm客户端源8配置cdh服务端源9配置cdh客户端源 11、配置chronyd1时区设置为本地时区1配置chrony服务端2配置chronyd客户端 12、安装jdk13、安装MySQL1下载安装2安全加固3登录查看4配置远程登录5卸载MySQL 五、CM6.3.1安装步骤1、配置JDBC驱动包2、修改MySQL配置文件3、创建cm所数据库1创建所需数据2按照官方创建数据库 3、安装服务端4、安装客户端5、初始化scm库1MySQL和服务同机2MySQL和服务不同机3CM的数据库配置文件已经修改4启动server5配置本地的parcel文件6修改config.ini7上传allkeys.asc 6、访问六、配置集群1、登录配置2、设置集群名3、选择集群主机4、配置CDH安装包5、配置CDH parcel的位置6、安装Agent 7、安装parcels8、检查集群9、选择服务1选择安装的内容和服务2自定义角色分配3数据库配置4CM管理页面
一、CM简介
1、ClouderaManager的概念 简单来说Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具软件,使得安装集群从几天的时间缩短在几个小时内运维人员从数十人降低到几人以内极大的提高集群管理的效率。
2、ClouderaManager的功能
1)、管理对集群进行管理如添加、删除节点等操作。2)、监控监控集群的健康情况对设置的各种指标和系统运行情况进行全面监控。3)、诊断对集群出现的问题进行诊断对出现的问题给出建议解决方案。4)、集成多组件进行整合。
3、ClouderaManager的架构
1)、Server负责软件安装、配置启动和停止服务管理服务运行的群集。2)、Agent安装在每台主机上。负责启动和停止的过程配置监控主机。3)、Management Service由一组执行各种监控警报和报告功能角色的服务。4)、Database存储配置和监视信息。5)、Cloudera Repository软件由Cloudera 管理分布存储库。有点类似Maven的中心仓库6)、Clients是用于与服务器进行交互的接口API和Admin Console CM6.3.1CDH6.3.2 组件版本如下
组件版本发行版CDH版本Supervisord3不可用不适用Cloudera Manager Agent6.3.11466458.el7不适用Cloudera Manager Management Daemon6.3.11466458.el7不适用Flume NG1.9.0cdh6.3.21605554CDH 6.3.2Hadoop3.0.0cdh6.3.21605554HDFS3.0.0cdh6.3.21605554HttpFS3.0.0cdh6.3.21605554hadoop-kms3.0.0cdh6.3.21605554CDH 6.3.2MapReduce 23.0.0cdh6.3.21605554CDH 6.3.2YARN3.0.0cdh6.3.21605554CDH 6.3.2HBase2.1.0cdh6.3.21605554CDH 6.3.2Lily HBase Indexer1.5cdh6.3.21605554CDH 6.3.2Hive2.1.1cdh6.3.21605554CDH 6.3.2HCatalog2.1.1cdh6.3.21605554CDH 6.3.2Hue4.2.0cdh6.3.21605554CDH 6.3.2Impala3.2.0cdh6.3.21605554CDH 6.3.2Java 8java version 1.8.0_131不可用不适用Kafka2.2.1cdh6.3.21605554CDH 6.3.2Kite仅限 CDH 5 1.0.0cdh6.3.21605554CDH 6.3.2kudu1.10.0cdh6.3.21605554CDH 6.3.2Oozie5.1.0cdh6.3.21605554CDH 6.3.2Parquet1.9.0cdh6.3.21605554CDH 6.3.2Pig0.17.0cdh6.3.21605554CDH 6.3.2sentry2.1.0cdh6.3.21605554CDH 6.3.2Solr7.4.0cdh6.3.21605554CDH 6.3.2spark2.4.0cdh6.3.21605554CDH 6.3.2Sqoop1.4.7cdh6.3.21605554CDH 6.3.2ZooKeeper3.4.5cdh6.3.21605554CDH 6.3.2 二、准备清单
1、部署步骤
网络配置所有节点hosts配置关闭防火墙所有节点免密(所有节点)ntpd同步安装jdk-u8-131所有节点安装MySQL主节点初始化MySQL主节点部署/启动CM Server主节点部署/启动CM Agent从节点配置CDH
其他
停止集群步骤启动集群步骤
2、集群规划
节点名称IPCentoSCPU内存磁盘组件h1192.168.6.617.9210G/dev/sda3 250Gmysql5.7,http,ntp,jdk-8u131h2192.168.6.627.928G/dev/sda3 250Gntp,jdk-8u131h3192.168.6.637.928G/dev/sda3 250Gntp,jdk-8u131h4192.168.6.647.928G/dev/sda3 250Gntp,jdk-8u131
3、软件环境准备
序号软件名称版本信息备注1Centos操作系统发行版CentOS Linux release 7.9.2009 x86_64CDH要求7.2或更高2MySQL数据库5.7.43 x86_64CDH6推荐5.7或更高务必使用utf8编码而非utf8mb4编码3JDK1.8.0_181 x86_64CDH6将不再支持JDK1.7推荐1.8u1814python2.7.55CDH6.3.26CM6.3.1 三、安装清单
1、操作系统iso包
本地镜像yum源包CentOS-7-x86_64-Everything-2003.iso下载地址https://developer.aliyun.com/mirror/
2、JDK包
JDK包jdk-8u281-linux-x64.tar.gz下载地址https://www.oracle.com/java/technologies/downloads/archive/
3、MySQL包
MySQL包mysql-5.7.36-linux-glibc2.12-x86_64.tar.gzMySQL驱动包mysql-connector-java-5.1.49.jar下载地址https://downloads.mysql.com/archives/community/
4、CM和CDH包
CM包
allkeys.asc
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpmCDH包
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256
manifest.json5、部署ansible
安装方式二
#登录后复制
cd /tmp
wget -c https://github.com/ghl1024/ansible-offline-install/releases/download/V1/ansible-offline-install.tar.gz
tar xf ansible-offline-install.tar.gz
cd ansible
sh install.sh#设置参数为不检查key
sed -i s/#host_key_checking False/host_key_checking False/g /etc/ansible/ansible.cfg#如果有提示安装则安装
yum install -y sshpasscat /etc/ansible/hosts EOF
[all:vars]
ansible_ssh_userroot
ansible_ssh_port7009
ansible_ssh_passAbcd123456
[k8s]
192.168.6.61
192.168.6.62
192.168.6.63
192.168.6.64
EOFansible all -m raw -a df -h四、基础环境准备
1、配置网络 Centos7静态网络配置文件是/etc/sysconfig/network-scripts/ifcfg-,我本机网络接口名称为p2p1修改所有节点网络配
[rootlocalhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens160
TYPEEthernet
BOOTPROTOstatic
DEFROUTEyes
NAMEens160
DEVICEens160
ONBOOTyes
IPADDR192.168.6.61 #改为对应节点IP
GATEWAY192.168.6.1
NETMASK255.255.255.0
DNS161.139.2.69
DNS28.8.8.8#重启网络可立即生效
systemctl restart network2、配置host解析
所有节点操作
#修改所有节点的hostname重启节点立即生效
ansible 192.168.6.61 -m raw -a hostnamectl set-hostname h1
ansible 192.168.6.62 -m raw -a hostnamectl set-hostname h2
ansible 192.168.6.63 -m raw -a hostnamectl set-hostname h3
ansible 192.168.6.64 -m raw -a hostnamectl set-hostname h4所有节点操作
ansible all -m raw -a echo 192.168.6.61 h1 /etc/hosts
ansible all -m raw -a echo 192.168.6.62 h2 /etc/hosts
ansible all -m raw -a echo 192.168.6.63 h3 /etc/hosts
ansible all -m raw -a echo 192.168.6.64 h4 /etc/hosts3、关闭防火墙
所有节点操作
ansible all -m raw -a systemctl stop firewalld
ansible all -m raw -a systemctl disable firewalld #关闭seliunx
ansible all -m raw -a sed -i s#SELINUXenforcing#SELINUXdisabled#g /etc/selinux/config
ansible all -m raw -a setenforce 04、配置swap 内核参数swappiness用于控制系统在内存紧张时将内存中的数据交换到硬盘交换空间swap中 一般而言swappiness值可以设置在 0 到 100 之间。内核版本3.5及以上、Red Hat内核版本2.6.32-303及以上推荐设置一个比较小的值而不要禁用交换。
ansible all -m raw -a echo \vm.swappiness10\ /etc/sysctl.confDD
#ansible all -m raw -a echo \net.ipv6.conf.all.disable_ipv6 1\ /etc/sysctl.conf
ansible all -m raw -a sysctl -pCloudera建议将交换空间设置为0过多的交换空间会引起GC耗时的激增。
5、关闭透明大页
#临时关闭
ansible all -m raw -a echo never /sys/kernel/mm/transparent_hugepage/defrag
ansible all -m raw -a echo never /sys/kernel/mm/transparent_hugepage/enabled#永久关闭,每个节点添加
cat /etc/rc.d/rc.localEOF
if test -f /sys/kernel/mm/transparent_hugepage/enabled; thenecho never /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; thenecho never /sys/kernel/mm/transparent_hugepage/defrag
fi
EOF#验证查看如果是never则表示成功。
ansible all -m raw -a cat /sys/kernel/mm/transparent_hugepage/defrag;cat /sys/kernel/mm/transparent_hugepage/enabled#授权
ansible all -m raw -a chmod x /etc/rc.local6、 配置最大进程数和最大文件句柄数 用户的进程和文件句柄数配置文件是/etc/security/limits.conf类型包括硬限制(hard)和软限制(soft)*表示所有用户nproc表示打开最大进程数nofile表示最大文件句柄数。Cloudera推荐最大进程数nproc为65536或26214。
pssh批量修改所有用户的进程和文件句柄最大限制
ansible all -m raw -aecho * soft nproc 65535 /etc/security/limits.conf
ansible all -m raw -a echo * hard nproc 65535 /etc/security/limits.conf
ansible all -m raw -a echo * soft nofile 65535 /etc/security/limits.conf
ansible all -m raw -a echo * hard nofile 65535 /etc/security/limits.conf
#查看是否生效
ansible all -m raw -a ulimit -a-a显示目前资源限制的设定-c core文件上限设定core文件的最大值单位为区块-d 数据节区大小程序数据节区的最大值单位为KB-f 文件大小shell所能建立的最大文件单位为区块-H设定资源的硬性限制也就是管理员所设下的限制-m 内存大小指定可使用内存的上限单位为KB-n 文件数目指定同一时间最多可开启的文件数-p 缓冲区大小指定管道缓冲区的大小单位512字节-s 堆叠大小指定堆叠的上限单位为KB-S设定资源的弹性限制-t CPU时间指定CPU使用时间的上限单位为秒-u 程序数目用户最多可开启的程序数目-v 虚拟内存大小指定可使用的虚拟内存上限单位为KB。
7、禁用atime(暂时不操作) Linux文件系统会保留记录每个文件访问时间的元数据这可能会导致即使是读取操作也会导致磁盘写入。为了提高文件读取性能Cloudera建议在/etc/fstab配置文件中使用noatime挂载选项来禁用atime选项。
pssh批量禁用文件最后访问时间本机的挂载数据目录是/data
# 数据目录添加noatime
ansible all -m raw -a sed -i s/\/data ext4 defaults/\/data ext4 defaults,noatime/ /etc/fstab# 重新挂载不需要重启节点
#mount -o remount /data8、搭建私有源
镜像源作用范围只能在机器h1使用。目的为了安装httpd服务和createrepo服务。
1配置centos源(h1)
【阿里下载地址】http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/
#上传
mkdir -p /data/isos
cd /data/isos
rz#挂载centos7镜像
mkdir /mnt/cdrom
chmod ox CentOS-7-x86_64-Everything-2003.iso
mount -t iso9660 /data/isos/CentOS-7-x86_64-Everything-2003.iso /mnt/cdrom
lsblk |grep /mnt/cdrom#移除自带的源
mkdir -p /etc/yum.repos.d/backup
mv /etc/yum.repos.d/* /etc/yum.repos.d/backup#新建一个本地yum源
cat /etc/yum.repos.d/local.repo EOF
[c6-media]
nameCentOS-$releasever - Media
baseurlfile:///mnt/cdrom
gpgcheck0
enabled1
EOF#更新源和缓存
yum clean all yum makecache#验证
yum repolist|grep Centos#检测源
yum remove tree -y
yum install tree -y2安装httpd
h1节点安装Apache httpd服务用于后续通过Http方式访问和下载CDH和CM安装包
# 安装httpd
yum -y install httpd
# 启动
systemctl start httpd
# 开机启动
systemctl enable httpd3centos源配置为http方式获取
h1节点
#在http服务的静态资源目录创建centos目录
mkdir -p /var/www/html/cdh6.3.1
mkdir /var/www/html/cdh6.3.1/centos
#将centos的镜像文件复制到centos目录
\cp -rf /mnt/cdrom/* /var/www/html/cdh6.3.1/centos#修改cdh-1的本地centos源的配置
sed -i s#baseurlfile:///mnt/cdrom#baseurlfile:///var/www/html/cdh6.3.1/centos#g /etc/yum.repos.d/local.repo#取消挂载
umount /mnt/cdrom/#更新h1的源
##刷新源
yum clean all yum makecache#验证
yum repolist#重启http
systemctl restart httpd可以通过http访问了http://192.168.6.61/cdh6.3.1/centos/
其他节点
#移除自带的源
mkdir -p /etc/yum.repos.d/backup
mv /etc/yum.repos.d/* /etc/yum.repos.d/backup#添加共享源
cat /etc/yum.repos.d/local.repo EOF
[c6-media]
nameCentOS-$releasever - Media
baseurlhttp://h1/cdh6.3.1/centos/
gpgcheck0
enabled1
EOF#刷新源
yum clean all yum makecache验证
yum repolist#测试源
yum remove -y lsof #安装
yum install -y lsof 4部署离线parcel源
移动文件安装包文件到http服务器静态文件目录h1
#在/var/www/html创建存放cm包的文件夹和cdh安装包的文件夹
mkdir /var/www/html/cdh6.3.1/{cm,cdh}#上传CDH6.3.2
rz
unzip CDH6.3.2 -d /opt/
tar -xf /opt/CDH6.3.2/cm6.3.1-redhat7.tar.gz -C /opt/#移动cdh安装包和元数据文件
cd /opt/CDH6.3.2/
mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel manifest.json CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /var/www/html/cdh6.3.1/cdh/
mv /var/www/html/cdh6.3.1/cdh/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /var/www/html/cdh6.3.1/cdh/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
mv /opt/CDH6.3.2/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 /var/www/html/cdh6.3.1/cdh/#解压移动cm安装包
tar -xf /opt/CDH6.3.2/cm6.3.1-redhat7.tar.gz -C /opt/
mv /opt/cm6.3.1/RPMS/x86_64/* /var/www/html/cdh6.3.1/cm/#授权
chmod 755 /var/www/html/cdh6.3.1/cm
chmod 755 /var/www/html/cdh6.3.1/cdh移动 sha1 名称⽂件时需要重命名去掉最后的1不然在部署过程中CM 会认为如上⽂件下载不完整会重新下载。
#查看
[rooth1 html]# ls -l /var/www/html/cdh6.3.1/
total 4
drwxr-xr-x. 2 root root 77 Sep 11 21:14 cdh
drwxr-xr-x. 8 root root 220 Sep 11 21:02 centos
drwxr-xr-x. 2 root root 4096 Sep 11 21:18 cm[rooth1 html]# ls -l /var/www/html/cdh6.3.1/cm
total 1380420
-rw-r--r--. 1 2001 2001 10483568 Sep 25 2019 cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 2001 2001 1203832464 Sep 25 2019 cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 2001 2001 11488 Sep 25 2019 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 2001 2001 10996 Sep 25 2019 cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
-rw-r--r--. 1 2001 2001 14209868 Sep 25 2019 enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
-rw-rw-r--. 1 2001 2001 184988341 Sep 25 2019 oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm[rootlocalhost CDH6.3.2]# ls -l /var/www/html/cdh6.3.1/cdh/
total 2033432
-rw-r--r--. 1 root root 2082186246 Jan 8 2021 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
-rw-r--r--. 1 root root 40 Jan 11 2021 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
-rw-r--r--. 1 root root 64 Jan 11 2021 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256
-rw-r--r--. 1 root root 33887 Jan 11 2021 manifest.json5生成repodata文件
制作cm和cdh源生成repodata文件需要用到createrepo这个包(h1)
#查看
yum install tree -y
tree /var/www/html/
# 生成repodata文件夹
mv /etc/yum.repos.d/backup/CentOS-Base.repo /etc/yum.repos.d/
yum clean all yum makecache
yum install -y createrepo
cd /var/www/html/cdh6.3.1/cm/
createrepo .
cd /var/www/html/cdh6.3.1/cdh/
createrepo .
systemctl restart httpd访问浏览器http://192.168.6.61/cdh6.3.1/cm/
6配置cm服务端源
cat /etc/yum.repos.d/cloudera-manager.repoEOF
[base-local]
namecm-local
baseurlfile:///var/www/html/cdh6.3.1/cm
enabled1
gpgcheck0
EOF#刷新源
yum clean all yum makecache#检测本地源是否配置成功
yum repolist|grep cm-local 7配置cm客户端源
cat /etc/yum.repos.d/cloudera-manager.repoEOF
[base-local]
namecm-local
baseurlhttp://h1/cdh6.3.1/cm
enabled1
gpgcheck0
EOF#刷新源
yum clean all yum makecache#检测本地源是否配置成功
yum repolist|grep cm-local 8配置cdh服务端源
cat /etc/yum.repos.d/cdh-local.repoEOF
[cdh-local]
namecdh-local
baseurlfile:///var/www/html/cdh6.3.1/cdh
enabled1
gpgcheck0
EOF#刷新源
yum clean all yum makecache#检测本地源是否配置成功
yum repolist|grep cdh-local 9配置cdh客户端源
cat /etc/yum.repos.d/cdh-local.repoEOF
[cdh-local]
namecdh-local
baseurlhttp://h1/cdh6.3.1/cdh
enabled1
gpgcheck0
EOF#刷新源
yum clean all yum makecache[base-local] #本源的名字不能和其他的重复随便不重复nameCentOS-local #名字随意baseurlfile:///mnt/ #上方步骤一挂载镜像创建的目录必须同步enabled1 #yum源是否启用 1-启用 0-不启用gpgcheck1 #安全检测 1-开启 0-不开启gpgkeyfile:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
11、配置chronyd Centos7默认使用Chrony工具而非NTP进行时间同步Chrony和NTP两者有冲突只能选其一CDH6推荐使用Chrony。 chrony-2.2.1.tar.gz 下载地址https://download.tuxfamily.org/chrony/
1时区设置为本地时区
#硬件时钟设置为UTC
ansible all -m raw -atimedatectl set-local-rtc 0#设置本地时区显示本地时间
ansible all -m raw -atimedatectl set-timezone Asia/Shanghai#手动加载RTC设置
ansible all -m raw -ahwclock --systohc#查看时间
ansible all -m raw -atimedatectl1配置chrony服务端
#安装
ansible all -m raw -ayum -y install chrony
ansible all -m raw -asystemctl start chronyd#修改服务器配置⽂件
cp /etc/chrony.conf /etc/chrony.$(date %s)
cat /etc/chrony.conf EOF
#编辑该行设置ntp服务器地址pool.ntp.org 替换为ntp服务器地址注保留1个即可其他NTP服务器地址注销
pool pool.ntp.org iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
allow 0.0.0.0/0
local stratum 10
logdir /var/log/chrony
EOF#看正确时间进行修改
date -s 09:57:00
#同步到硬件时间
clock -w
#启动chronyd
systemctl restart chronyd
systemctl enable chronyd2配置chronyd客户端
#安装
yum -y install chrony# 修改服务器配置文件以阿里云时间服务器为上游服务器
cp /etc/chrony.conf /etc/chrony.$(date %s)
cat /etc/chrony.conf EOF
server 192.168.6.61 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
logdir /var/log/chrony
EOF# 启动 chronyd服务
systemctl restart chronyd
systemctl enable chronyd#重启后等几分钟让系统识别到时间服务器期间可多次执行chronyc sources或chronyc sources -v查询状态。
[rootlocalhost yum.repos.d]# chronyc sources
210 Number of sources 1
MS Name/IP address Stratum Poll Reach LastRx Last sample ^* h1 3 6 377 4 874us[1148us] /- 49ms[rootlocalhost ~]# timedatectlLocal time: Mon 2023-12-11 10:05:51 CSTUniversal time: Mon 2023-12-11 02:05:51 UTCRTC time: Mon 2023-12-11 02:05:51Time zone: Asia/Shanghai (CST, 0800)NTP enabled: yes
NTP synchronized: yesRTC in local TZ: noDST active: n/a12、安装jdk
参考网址https://blog.csdn.net/BlogPan/article/details/132384949每个节点安装java环境
#上传到ansible管理节点
rz #jdk-8u131-linux-x64.tar.gz #拷贝到各个节点
ansible all -m copy -a srcjdk-8u131-linux-x64.tar.gz dest/root/jdk-8u131-linux-x64.tar.gz#安装jdk
tar -xzf /root/jdk-8u131-linux-x64.tar.gz
mkdir -p /usr/java/
mv jdk1.8.0_131/ /usr/java/
#、配置JAVA环境变量/etc/profile配置文件中末尾加入如下代码
cp /etc/profile /etc/profile.bak
cat /etc/profileEOF
#################################################################
export JAVA_HOME/usr/java/jdk1.8.0_131
export CLASSPATH\$CLASSPATH:\$JAVA_HOME/lib:\$JAVA_HOME/jre/lib
export PATH\$JAVA_HOME/bin:\$JAVA_HOME/jre/bin:\$PATH:\$HOMR/bin
##################################################################
EOF
#执行如下代码使其环境变量并查看环境变量命令如下
source /etc/profile
java -version13、安装MySQL
1下载安装
参考地址https://blog.csdn.net/BlogPan/article/details/132393695h1安装MySQL注意连接网络源才能下载否则需要使用二进制部署。
#检测mysql,有则卸载
rpm -qa | grep -i mysql
rpm -qa|grep mariadb
#yum list installed | grep mariadb
#rpm -e --nodeps mariadb-libs-xxx
#rm -rf /etc/my.cnf
#查找指令rpm方式rpm -qa|grep mysql
#查找指令yum方式yum list installed | grep mysql
#find查看指令find / -name mysql
#whereis查看指令whereis mysql
#删除指令rm -rf /etc/selinux/targeted/active/modules/100/mysql
#删除指令rm -rf /usr/lib64/mysql#noarch表示该软件包不依赖特定Linux发行版
wget -c https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm --no-check-certificate
rpm -ivh mysql57-community-release-el7-11.noarch.rpm ##安装Yum源配置文件
yum -y install mysql-community-server --nogpgcheck #安装MySQL服务器 --nogpgcheck跳过源认证。
systemctl start mysqldsystemctl enable mysqldsystemctl status mysqld #启动MySQL服务器
grep password /var/log/mysqld.log #获取临时密码2安全加固
执行安全脚本加固MySQL安全性设置新的root密码
#登录改密码
[rooth1 ~]# grep password /var/log/mysqld.log #获取临时密码
2023-04-18T07:39:06.811617Z 1 [Note] A temporary password is generated for rootlocalhost: eR-UFk;F8UD[rooth1 ~]# mysql_secure_installation
Securing the MySQL server deployment.
Enter password for user root: #输入密码:eR-UFk;F8UDThe existing password for the user account root has expired. Please set a new password.
New password: Abcd$12356A
Re-enter new password: Abcd$12356A输入要求的密码后可继续如下配置
# 移除匿名用户
Remove anonymous users? (Press y|Y for Yes, any other key for No) : y
Success. Normally, root should only be allowed to connect from
localhost. This ensures that someone cannot guess at
the root password from the network.# 禁用远程root登录
Disallow root login remotely? (Press y|Y for Yes, any other key for No) : y
Success.By default, MySQL comes with a database named test that
anyone can access. This is also intended only for testing,
and should be removed before moving into a production
environment.# 删除测试数据库及权限
Remove test database and access to it? (Press y|Y for Yes, any other key for No) : y- Dropping test database...
Success.- Removing privileges on test database...
Success.Reloading the privilege tables will ensure that all changes
made so far will take effect immediately.# 重新加载授权表
Reload privilege tables now? (Press y|Y for Yes, any other key for No) : y
Success.All done!3登录查看
#登录
mysql -uroot -p
输入密码Abcd$12356A#设置开机启动和重启
systemctl enable mysqldsystemctl restart mysqld4配置远程登录
登录本机针对root用户赋权和设置密码
# 授权all表示所有ddl和dml操作权限*.*表示针对所有数据库所有表%表示本机和远程主机均能访问
grant all privileges on *.* to root% identified by Abcd$12356A with grant option;# 刷新权限
flush privileges;#退出
exit#测试远程访问
yum install mysql -y
mysql -P 3306 -h 192.168.6.61 -uroot -p
输入密码Abcd$12356A5卸载MySQL
不操作
#卸载MySQL之前首先需要停止MySQL服务
systemctl stop mysqld#卸载MySQL软件包
yum -y remove mysql-server mysql-client mysql-common mysql-libs#删除配置文件
rm -rf /var/lib/mysql
rm -rf /etc/my.cnf#卸载Yum源配置文件
rpm -e mysql57-community-release-el7-11.noarch#清理MySQL用户和组
userdel mysql
groupdel mysql#清理MySQL日志文件和临时文件
rm -rf /var/log/mysql
rm -rf /tmp/mysql*五、CM6.3.1安装步骤
1、配置JDBC驱动包
ansible节点操作
#配置JDBC驱动包
cd /root/
wget -c https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz --no-check-certificate
tar -xf mysql-connector-java-5.1.46.tar.gz
mv mysql-connector-java-5.1.46/mysql-connector-java-5.1.46.jar /root/mysql-connector-java.jar#创建目录
ansible all -m raw -a mkdir -p /usr/share/java/# 复制到各个节点
ansible all -m copy -a src/root/mysql-connector-java.jar dest/usr/share/java/# 修改权限
ansible all -m raw -a cd /usr/share/java;chmod 775 mysql-connector-java.jar# 验证是否创建成功
ansible all -m raw -a ls -l /usr/share/java2、修改MySQL配置文件
https://zhuanlan.zhihu.com/p/140873987?utm_id0 WARN: Establishing SSL connection without server’s identity verification is not recommended. According to MySQL 5.5.45, 5.6.26 and 5.7.6 requirements SSL connection must be established by default if explicit option isn’t set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to ‘false’. You need either to explicitly disable SSL by setting useSSLfalse, or set useSSLtrue and provide truststore for server certificate verification. 注意此处有坑对于MySQL5.7高版本启动CM Server连接MySQL时可能会报com.mysql.jdbc.exceptions.jdbc4.CommunicationsException异常原因是默认开启了SSL认证相当于useSSLtrue解决方法就是在配置中添加skip-ssl重启MySQL服务另外[mysqld_safe]配置项已废弃不用以下的配置均已经过验证。 [mysqld]
# 务必禁用掉ssl相当于useSSLfalse
skip-ssl #和重启
systemctl restart mysqld3、创建cm所数据库
1创建所需数据
#登录
mysql -uroot -p
输入密码Abcd$12356A#创建
CREATE DATABASE scm DEFAULT CHARACTER SET UTF8;
CREATE USER scm% IDENTIFIED WITH mysql_native_password BY Abcd$12356A;
GRANT ALL PRIVILEGES ON scm.* TO scm%;CREATE DATABASE hive DEFAULT CHARACTER SET UTF8;
CREATE USER hive% IDENTIFIED WITH mysql_native_password BY Abcd$12356A;
GRANT ALL PRIVILEGES ON hive.* TO hive%;FLUSH PRIVILEGES;
SELECT user,host,plugin FROM mysql.user;
exit2按照官方创建数据库
Cloudera官网要求初始化的数据库及用户如下
# scm
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO scm% IDENTIFIED BY Abcd$12356A;# amon
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO amon% IDENTIFIED BY Abcd$12356A;# rman
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO rman% IDENTIFIED BY Abcd$12356A;# hue
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO hue% IDENTIFIED BY Abcd$12356A;# hive
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO hive% IDENTIFIED BY Abcd$12356A;# sentry
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO sentry% IDENTIFIED BY Abcd$12356A;# nav
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO nav% IDENTIFIED BY Abcd$12356A;# navms
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO navms% IDENTIFIED BY Abcd$12356A;# oozie
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO oozie% IDENTIFIED BY Abcd$12356A;# 最后刷新一下权限
flush privileges;# 检查
show databases;3、安装服务端
只需要在h1节点上安装
yum install mysql-community-libs-compat-5.7.44-1.el7.x86_64 -y --nogpgcheck
#h1安装server和agent
yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server#安装报错使用网络源
cd /etc/yum.repos.d
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
yum clean allyum makecache#MySQL报错 Failing package is: mysql-community-libs-compat-5.7.44-1.el7.x86_64
yum install mysql-community-libs-compat-5.7.44-1.el7.x86_64 -y --nogpgcheck4、安装客户端
只需要在h2、h3、h4节点上安装
#h2安装agent
yum -y install cloudera-manager-agent cloudera-manager-daemons#h3安装agent
yum -y install cloudera-manager-agent cloudera-manager-daemons#h4安装agent
yum -y install cloudera-manager-agent cloudera-manager-daemons5、初始化scm库
1MySQL和服务同机
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm
输入密码Abcd$12356A2MySQL和服务不同机
初始化指令格式/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 数据库ip --scm-host scm的ip scm scm Abcd$12356A
#/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 192.168.6.65 --scm-host 192.168.6.61 scm scm Abcd$12356A3CM的数据库配置文件已经修改
初始化成功自动生成下面数据,修改文件。
#替换
sed -i s#com.cloudera.cmf.db.hostlocalhost#com.cloudera.cmf.db.hosth1#g /etc/cloudera-scm-server/db.properties
#查看
[rooth1 ~]# cat /etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.typemysql
com.cloudera.cmf.db.hosth1
com.cloudera.cmf.db.namescm
com.cloudera.cmf.db.userscm
com.cloudera.cmf.db.setupTypeEXTERNAL
com.cloudera.cmf.db.passwordAbcd$12356A4启动server
在主节点启动Cloudera Manager
systemctl restart cloudera-scm-server
systemctl status cloudera-scm-server -l
netstat -tnlp|grep 7180
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log5配置本地的parcel文件
cp -r /var/www/html/cdh6.3.1/cdh/* /opt/cloudera/parcel-repo/
groupadd cloudera-scmuseradd -r -g cloudera-scm cloudera-scm
chown -R cloudera-scm:cloudera-scm /opt/cloudera6修改config.ini
agent节点上修改cm agent的配置指向server节点为:h1
ansible all -m raw -a sed -i s/server_hostlocalhost/server_host h1/g /etc/cloudera-scm-agent/config.ini7上传allkeys.asc
cd /var/www/html/cdh6.3.1/cm
rz
allkeys.asc6、访问
访问地址http://192.168.6.61:7180/cmf/login登陆-默认账号/密码:admin/admin 六、配置集群
1、登录配置 2、设置集群名
编辑集群名称填入cdh6.3.2安装成功后可以重命名集群点击“继续”。
3、选择集群主机
使用模式输入主机名称(h[1-4])或者IP地址192.168.6.[61-63]点击“搜索”找到主机后勾选节点点击“继续”。
4、配置CDH安装包
Cloudera Manager Agent的自定义存储库输入CM仓库地址http://192.168.6.61/cdh6.3.1/cm
5、配置CDH parcel的位置 CDH and other software选择“使用 Parcel (建议)”点击“更多选项”进入Parcel存储库设置页面。“Parcel目录”和“本地Parcel存储库路径”不用编辑选择默认目录就好编辑“远程Parcel存储库URL”输入CDH仓库地址: http://192.168.6.61/cdh6.3.1/cdh/点击“-”删除其它URL点击“保存更改”。
6、安装Agent 【提示】
/tmp/scm_prepare_node.4jhFYJdo
http://192.168.101.105/cdh6/6.3.1/parcels/allkeys.asc
【解决】
上传allkeys.asc到cm的目录下7、安装parcels 如果出现主机运行状况不良
进入 /var/lib/cloudera-scm-agent下把cm_guid文件 删除。然后重启代理服务节点命令 service cloudera-scm-agent restart重启之后 cloudera manager 等待片刻自动安装
【报错】 Parcel not distributed but have active state ACTIVATING
[rootlocalhost ~]# curl -u admin:admin http://h1:7180/api/v18/clusters[rooth1 ~]# curl -u admin:admin -X POST http://192.168.6.61:7180/api/v18/clusters/Cluster1/parcels/products/CDH6/versions/6.3.2-1.cdh6.3.2.p0.1605554/commands/deactivate
【解决】 https://blog.51cto.com/u_14049791/5701635
【报错】
cdh6安装过程报错 failure due to stall on seeded torrent
【解决】
#找到报错节点重启
systemctl restart cloudera-scm-agent.service8、检查集群 先点击 Inspect Network Performance 再点击 Inspect Hosts 注意没有黄色提示才能继续下一步否则需要解决。 9、选择服务
1选择安装的内容和服务
安装的内容包括HDFSYARNZooKeeperOozieHiveHueSparkImpalaHbase。
2自定义角色分配
具体角色配置可查看CM
3数据库配置
选择各个数据库用户名密码并进行测试审核更改默认设置配置各个参数命令详细信息如果集群资源不够可以先申请一个集群然后依次添加服务
mysql show databases;
--------------------
| Database |
--------------------
| information_schema |
| amon |
| hive |
| hue |
| metastore |
| mysql |
| nav |
| navms |
| oozie |
| performance_schema |
| rman |
| scm |
| sentry |
| sys |
--------------------4CM管理页面
之后出现的任何告警等都可以进行自定义配置和解决安装的各个服务的版本可通过cdh的mansion.json文件查看
