做网站友情链接的步骤,装潢设计哪里可以学,菏泽去哪了做网站,建筑用模板是什么板材如上述博客有任何错误或者疑问#xff0c;请加VX#xff1a;1755337994#xff0c;及时告知#xff01;万分感激#xff01;
1.概述 CDH#xff0c;全称Clouderas Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种#xff0c;由Cloudera维护请加VX1755337994及时告知万分感激
1.概述 CDH全称Clouderas Distribution, including Apache Hadoop。是Hadoop众多分支中对应中的一种由Cloudera维护基于稳定版本的Apache Hadoop构建提供了Hadoop的核心可扩展存储、分布式计算最为重要的是提供基于web的用户界面。 CDH的优点版本划分清晰更新速度快支持Kerberos安全认证支持多种安装方式如Yum、rpm等。 CDH分为Cloudera Manager管理平台和CDH parcelparcel包含各种组件的安装包。这里采用CDH6.2.0。 Cloudera Manger下载地址为https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/如图 CDH6.2.0安装包地址为https://archive.cloudera.com/cdh6/6.2.0/parcels/ 由于操作系统为CentOS7需要下载以下文件 上述文件整理资料百度云下载地址为 链接: https://pan.baidu.com/s/1Dm5Elf9uQqn14BUbgU3AFQ 提取码: mws3
2. 安装步骤
说明以下操作都是在root用户下进行的
2.1 环境准备
2.1.1. 准备虚拟机根据自己的系统资源分配虚拟机资源 2.1.2. 静态IP设置每个节点
vim /etc/sysconfig/network-scripts/ifcfg-eth0
service network restart 重启网络生效
yum install -y net-tools ifconfig查看设置
2.1.3. 编辑/etc/hosts文件每个节点
cat /etc/hosts EOF
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
172.18.26.219 manager1
172.18.26.222 node2
172.18.26.220 node3
172.18.26.218 node4
172.18.26.221 node5
EOF
各个虚拟机设置自己对应的主机名
hostnamectl set-hostname manager1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
hostnamectl set-hostname node4
hostnamectl set-hostname node5
2.1.4. 关闭防火墙、禁止防火墙开机自启每个节点
systemctl stop firewalld 关闭防火墙systemctl disable firewalld 禁止防火墙开机自启vim /etc/selinux/config — SELINUXdisabled (修改)2.1.5. ssh无密码登录
manager节点执行ssh-keygen -t rsa 一路回车到结束在/root/.ssh/下面会生成一个公钥文件id_rsa.pub chmod 600 ~/.ssh/authorized_keys ssh-copy-id -i /root/.ssh/id_rsa.pub rootmanager1 ssh-copy-id -i /root/.ssh/id_rsa.pub rootnode2 ssh-copy-id -i /root/.ssh/id_rsa.pub rootnode3 ssh-copy-id -i /root/.ssh/id_rsa.pub rootnode4 ssh-copy-id -i /root/.ssh/id_rsa.pub rootnode5
2.1.6. 配置NTP服务所有节点
修改时区改为中国标准时区ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime安装ntp yum -y install ntpntp主机配置 vim /etc/ntp.confmanager节点其余节点 重新启动 ntp 服务service ntpd restart设置开机自启systemctl enable ntpd.servicentpdc -c loopinfo #查看与时间同步服务器的时间偏差ntpq -p #查看当前同步的时间服务器ntpstat #查看状态配置成功状态服务开启后前面出现*说明成功2.1.7. 修改Linux swappiness参数(所有节点
为了避免服务器使用swap功能而影响服务器性能一般都会把vm.swappiness修改为0cloudera建议10以下 上述方法rhel6有效rhel7.2中:tuned服务会动态调整系统参数查找tuned中配置直接修改配置cd /usr/lib/tuned/grep “vm.swappiness” * -R 查询出后依次修改修改完确认: 参考sysctl修改内核参数 重启不生效 https://blog.csdn.net/ygtlovezf/article/details/79014299
2.1.8. 禁用透明页(所有节点
echo never /sys/kernel/mm/transparent_hugepage/defrag echo never /sys/kernel/mm/transparent_hugepage/enabled 永久生效 在/etc/rc.local 添加上面命令 给与可执行权限chmod x /etc/rc.d/rc.local
2.1.9. JDK安装所有节点
rpm -qa | grep java # 查询已安装的javayum remove java* # 卸载rpm -ivh oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpmvi /etc/profile 末尾添加source /etc/profilejava -version验证
2.1.10. 创建/usr/share/java目录将mysql-jdbc包放过去所有节点
mkdir -p /usr/share/javamv /opt/mysql-j/mysql-connector-java-5.1.34.jar /usr/share/java/mysql-connector-java-5.1.34.jar 一定要命名为mysql-connector-java.jar
2.1.11. 为保证防火墙、虚拟机参数修改后生效各节点机器需要重启 reboot
2.1.12. Mysql安装
卸载原生的mariadb安装mysql
rpm -qa|grep mariadbrpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64cd /opt/mysql/tar -xvf ./mysql-5.7.19-1.el7.x86_64.rpm-bundle.tarrpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpmrpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpmrpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpmrpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpmrpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm
MYSQL配置如下:
mysqld --initialize --usermysql # 初始化mysql使mysql目录的拥有者为mysql用户cat /var/log/mysqld.log # 最后一行将会有随机生成的密码systemctl start mysqld.service # 设置mysql服务自启mysql -uroot –p 如果不能登陆systemctl restart mysqld#登录并修改mysql的管理者密码$mysql -u root mysqluse mysql; mysqlset password PASSWORD(root); mysqlexit;
创建库(后续安装服务等使用) # Cloudera Manager的数据库
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO scm% IDENTIFIED BY scm123;
# Activity Monitor的数据库
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO amon% IDENTIFIED BY amon123;
# Reports Manager的数据库
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO rman% IDENTIFIED BY rman123;
# Hue的数据库
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO hue% IDENTIFIED BY hue123;
# Metastore的数据库
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO metastore% IDENTIFIED BY metastore123;
# Sentry的数据库
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO sentry% IDENTIFIED BY sentry123;
# Cloudera Navigator Audit Server的数据库
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO nav% IDENTIFIED BY nav123;
# Cloudera Navigator Metadata Server的数据库
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO navms% IDENTIFIED BY navms123;
# Oozie的数据库
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO oozie% IDENTIFIED BY oozie123;
# Hive的数据库
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hive.* TO hive% IDENTIFIED BY hive123;
flush privileges; 2.1.13. 安装Httpd服务manager
yum install httpdsystemctl start httpdsystemctl enable httpd.service 设置httpd服务开机自启
2.1.14. 配置Cloudera Manager包yum源manager节点
mkdir -p /var/www/html/cloudera-repos/将下载的cm包文件移到此目录下:mv cm6 /var/www/html/cloudera-repos/cd /var/www/html/cloudera-repos/cm6/创建repodata createrepo .vim /etc/yum.repos.d/cloudera-manager.repo注意路径http://manager/cloudera-repos/cm6/
yum clean allyum makecache
2.1.15.导入GPG key如果没有这步操作很可能cloudera服务安装失败manager节点
rpm --import http://manager/cloudera-repos/cm6/RPM-GPG-KEY-cloudera
2.1.16. 安装 Cloudera Managermanager节点
sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server安装完CM后/opt/ 下会出现cloudera目录mv /opt/parcels/* /opt/cloudera/parcel-repo # 将parcel包移动到指定位置在/opt/cloudera/parcel-repo执行以下命令sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk ‘{ print $1 }’ CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha执行初始化脚本:/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver cmserveruser password打开server服务:service cloudera-scm-server start静候几分钟打开http://manager:7180
2.2 其他服务安装
2.2.1 登录cm WEB界面
http://主机ip:7180/cmf/login 访问CM 用户名admin 密码admin 遇到问题7180服务没有启动 解决方法 查看端口服务未启动 cm服务启动显示正常。 我在刚启动服务后7180没有启动没找到什么原因后来 晾了它一晚上第二天一查端口居然启动了可能是cm服务要启动的东西太多主机一时没启动。 启动成功
备注 linux查看端口Linux如何查看端口状态 - Archmagel - 博客园
2.2.2 具体安装步骤
WELCOME Accept License Select Edition
版本选择免费版已经够用。 Welcome (Add Cluster - Installation) Specify Hosts
主机是自己规划安装agent的主机 Select Repository
自定义存储库: http://172.18.26.219/cloudera-repos/cm6/
Parcel 目录 /opt/cloudera/parcels
本地 Parcel 存储库路径 /opt/cloudera/parcels JDK 安装选项 任何程序错误以及技术疑问或需要解答的请扫码添加作者VX : 18565453898 Enter Login Credentials Install Agents
最到考验网速的时候了该页面使用js进行刷新千万别手动刷新手动刷新的话安装列表中之前已经功成的会消失未成功的显示未成功即使安装成功了cm会管理不到之前已经成功但刷新后未显示的主机在安装集群时只能选择本次显示的原因未知。网速过慢的话安装会失败一定要耐心等待别做无关操作。 修改cat /etc/cloudera-scm-agent/config.ini | grep -Ev ^$|#rm -rf /var/lib/cloudera-scm-agent/cm_guidservice cloudera-scm-agent restart重启服务
service cloudera-scm-server restartservice cloudera-scm-agent restart###### agent安装前注意事项安装失败。 无法接收 Agent 发出的检测信号。请确保主机的名称已正确配置。请确保端口 7182 可在 Cloudera Manager Server 上访问检查防火墙规则。请确保正在添加的主机上的端口 9000 和 9001 空闲。检查正在添加的主机上 /var/log/cloudera-scm-agent/ 中的代理日志某些日志可在安装详细信息中找到。如果在 Cloudera Manager 中启用为代理使用 TLS 加密管理 - 设置 - 安全请确保 /etc/cloudera-scm-agent/config.ini 在正在添加的主机上有 use_tls1。重启相应的代理并单击此处的重试链接。###### 失败重试直到成功再次说明耐心等待。 n次失败之后终于安装成功
Install Parcels 安装成功等了有将近半天的时候。。。 Inspect Hosts 注意事项
1Parcel安装包要确保每一台机器都有在目录 /opt/cloudera/parcel-repo/
2搜索 “Parcel服务”然后激活
3搜索 “CDH managger service 服务” 安装监控
4监控生效之后搜索 “集群服务”
5微调未生效的组件 问题处理 时钟同步是由于我恢复过一次镜像在手动同步一下即可。 服务端启动恢复镜像居然没启动) 各台同步 虚拟内存设置 Cloudera 建议将 /proc/sys/vm/swappiness 设置为0-10。当前设置为 30。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf以在重启后保存该设置。您可以继续进行安装但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响 临时解决 通过echo 10 /proc/sys/vm/swappiness即可解决。 永久解决 sysctl -w vm.swappiness10 echo vm.swappiness 10 /etc/sysctl.conf
透明大页问题 已启用透明大页面压缩可能会导致重大性能问题。请运行“echo never /sys/kernel/mm/transparent_hugepage/defrag”和“echo never /sys/kernel/mm/transparent_hugepage/enabled”以禁用此设置然后将同一命令添加到 /etc/rc.local 等初始化脚本中以便在系统重启时予以设置。以下主机将受到影响: 大内存页禁用 echo never/sys/kernel/mm/transparent_hugepage/defrag echo never/sys/kernel/mm/transparent_hugepage/enabled
升级软件依赖版本 Starting with CDH 6, PostgreSQL-backed Hue requires the Psycopg2 version to be at least 2.5.4, see the documentation for more information. This warning can be ignored if hosts will not run CDH 6, or will not run Hue with PostgreSQL. The following hosts have an incompatible Psycopg2 version of ‘2.5.1’: 2.3 大数据组件安装
正式安装前拍个快照
Select Services 自定义角色分配 数据库设置 这里测试了一晚上。。。
审核更改可以自己更改目录我使用的是默认 cdh管理界面大功告成 第一次进入后许多服务标红查看后是agent与cm失去连接。 #ntpstat所有节点 只有cm启动其余莫名停止。 #systemctl start ntpd停止节点 #ntpdate -u cdh1ntp服务端 在失去的节点 执行 service cloudera-scm-agent restart停止节点 重启 正常启动不报错 注 service cloudera-scm-agent status查看 agent 状态
任何程序错误以及技术疑问或需要解答的请添加
