甘肃网站建设公司哪家好,东莞公司注册流程及需要的材料,微信公众号是干什么用的,seo排名赚#x1f947;#x1f947;【大数据学习记录篇】-持续更新中~#x1f947;#x1f947; 个人主页#xff1a;beixi 本文章收录于专栏#xff08;点击传送#xff09;#xff1a;【大数据学习】 #x1f493;#x1f493;持续更新中#xff0c;感谢各位前辈朋友们支持… 【大数据学习记录篇】-持续更新中~ 个人主页beixi 本文章收录于专栏点击传送【大数据学习】 持续更新中感谢各位前辈朋友们支持学习~ 文章目录 1.Hive环境介绍2.搭建环境准备3.建立Hive元数据库4.安装配置Hive 1.Hive环境介绍 Hive在Hadoop生态系统中运行依赖Hadoop分布式文件系统HDFS和YARN资源管理器。它由以下几个主要组件组成 元数据存储Hive使用关系型数据库如MySQL、Derby等来存储元数据包括表的结构、分区信息、数据位置等。Hive服务Hive提供Hive CLI命令行界面和HiveServer2两种服务方式。HiveCLI用于交互式查询和脚本执行而HiveServer2允许通过JDBC或ODBC连接进行远程查询。查询执行引擎Hive将HiveQL查询语句转换为MapReduce作业或Tez任务并通过Hadoop集群执行这些作业。此外Hive还支持LLAP低延迟分析查询协议引擎用于加速查询执行。数据格式Hive支持多种数据格式包括文本、CSV、Parquet、ORC等。这些格式可以根据数据特性和查询需求进行选择。 2.搭建环境准备
本次用到的环境有 1)Oracle Linux 7.4 2)Hadoop2.7.4 3)Hive2.1.1 4)Mysql5.5.57 5)Java1.8.0_144
3.建立Hive元数据库
1.进入MySQL命令窗口
mysql2.建立Hive元数据需要的MySQL下的数据库“hive”并赋予相应权限
create database hive;grant all privileges on *.* to rootmaster identified by root;
grant all privileges on *.* to root% identified by root;
flush privileges;3.查看数据库“hive”的权限
SELECT host,user,authentication_string,Grant_priv,Super_priv FROM mysql.user;4.退出MySQL命令窗口
quit;4.安装配置Hive
1.解压Hive压缩包至/opt目录下。
tar xf experiment/file/apache-hive-2.1.1-bin.tar.gz -C /opt/ll /opt/2.解压后的Hive压缩包apache-hive-2.1.1-bin更名为hive。
mv /opt/apache-hive-2.1.1-bin /opt/hivell /opt/3.拷贝Hive需要的mysql依赖包mysql-connector-java-5.1.42.jar 至hive/lib目录下。
cp ~/experiment/file/mysql-connector-java-5.1.42.jar /opt/hive/lib/ll /opt/hive/lib/mysql-*4.打开配置Hive环境变量的文件profile。
vim /etc/profile5.敲键盘“i”键使profile处于可插入状态配置Hive环境变量参数。
export HIVE_HOME/opt/hive
export HIVE_CONF_DIR/opt/hive/conf
export PATH$HIVE_HOME/bin:$PATH6.按“ESC”键敲“:wq!”命令按回车保存并退出profile文件。
:wq!7.使profile文件配置生效。
source /etc/profile8.查看hive的环境变量是否生效。
echo $PATH9.进入Hive配置文件的目录。
cd /opt/hive/conf/ll10.生成hive-site.xml文件。
cp /opt/hive/conf/hive-default.xml.template /opt/hive/conf/hive-site.xmlll11.打开配置hive-site.xml文件。
vim /opt/hive/conf/hive-site.xml12.删除hive-site.xml文件中标签与之间的所有内容。根据实际情况而删
22gg
5327dd13.删除hive-site.xml文件指定内容后的文件全部内容如下。
14.通过键盘敲入”i”使更改后的hive-site.xml文件处于可编辑状态即可在文件下方看到“INSERT”或“插入”的字样。
15.将需要配置的参数敲入或者去已经配置好的文件里将配置内容即Code001的所有内容全部复制到hive-site.xml文件中与标签之间粘贴的所有内容如下
propertynamehive.metastore.warehouse.dir/namevalue/data/hive/warehouse/value
/property
propertynamehive.metastore.local/namevaluetrue/value
/property
propertynamejavax.jdo.option.ConnectionURL/namevaluejdbc:mysql://master/hive?createDatabaseIfNotExisttrueamp;useSSLfalse/value
/property
propertynamejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.jdbc.Driver/value
/property
propertynamejavax.jdo.option.ConnectionUserName/namevalueroot/value
/property
propertynamejavax.jdo.option.ConnectionPassword/namevalueroot/value
/property
propertynamehive.metastore.schema.verification/namevaluefalse/value
/property16.注意粘贴点击文档的空白处点击鼠标右键即可看到“粘贴”或“Paste”选项选中它完成粘贴的位置位于标签与之间。
17.粘贴后的hive-site.xml文件如下所示按ESC键录入“:wq!”退出并保存文件。
:wq!至此Hive的安装与配置就结束了如果本篇文章对你有帮助记得点赞收藏关注~
