牟平做网站,手机app软件开发的价格,tp3.2.3网站开发实例,seo网址超级外链工具Atlas 部署之后就可以导入 Hive 元数据#xff0c;这部分工作由 Atlas 组件 Hook 来完成。初次导入 Hive 元数据需要通过执行 shell 脚本来完成#xff0c;然后#xff0c;Atlas 就可以自动同步增量元数据信息了。下面我介绍一下如何完成这些工作。
初次导入 Hive 元数据
…Atlas 部署之后就可以导入 Hive 元数据这部分工作由 Atlas 组件 Hook 来完成。初次导入 Hive 元数据需要通过执行 shell 脚本来完成然后Atlas 就可以自动同步增量元数据信息了。下面我介绍一下如何完成这些工作。
初次导入 Hive 元数据
看了很多教程按图索翼进行操作时遇到了各种错误还好最后我成功了成功的感觉真的很棒。
第一步修改 hive-site.xml
首先在 hive-site.xml 文件中添加如下配置
propertynamehive.exec.post.hooks/namevalueorg.apache.atlas.hive.hook.HiveHook/value
/propertyhive-site.xml 文件路径为 $HIVE_HOME/conf
第二步解压 apache-atlas-2.2.0-hive-hook.tar.gz
解压 apache-atlas-2.2.0-hive-hook.tar.gz并复制到 Atlas 主目录
cd /opt/module/apache-atlas-sources-2.2.0/distro/target
tar -zxvf apache-atlas-2.2.0-hive-hook.tar.gz
cp -r apache-atlas-hive-hook-2.2.0/* /opt/module/apache-atlas-2.2.0第三步修改 hive-env.sh
修改 hive-env.sh 文件添加如下命令 export HIVE_AUX_JARS_PATH$ATLAS_HOME/hook/hive 修改之后需要重启 Hive。不过我重启之后依然没有效果没有找到原因我直接将 $ATLAS_HOME/hook/hive 目录下文件全部移动至 $HIVE_HOME/lib/auxlib 目录下需要先创建该目录
mkdir /opt/module/hive/lib/auxlib
cp -r /opt/module/apache-atlas-2.2.0/hook/hive/* /opt/module/hive/lib/auxlib总之如果你发现执行 $ATLAS_HOME/hook-bin/import-hive.sh 时报错找不到类而该类所属的 jar 包在其他目录比如 hadoop你可以先尝试修改 hive-env.sh 文件的 HIVE_AUX_JARS_PATH 配置多个路径以英文逗号分隔如果还是不行那么你可以直接将该 jar 包复制到 $HIVE_HOME/lib/auxlib 一份如果连续发现 hadoo 相关 jar 包报错可以将 $HADOOP_HOME/share/hadoop 目录下的 jar 包复制到 /opt/module/hive/lib/auxlib
第四步搞定几个关键 jar 包
没有如下几个 jar 包你大概率很遇到报错 jackson-module-jaxb-annotations-2.10.5.jar jackson-jaxrs-base-2.10.5.jar jackson-jaxrs-json-provider-2.10.5.jar hadoop-hdfs-client-3.1.3.jar 前三个 jar 在 ATLAS_HOME/server/webapp/atlas/WEB-INF/lib/ 目录下可以找到复制到 $HIVE_HOME/lib/auxlib 目录一份hadoop-hdfs-client-3.1.3.jar 需要自己下载上传至目录 $HIVE_HOME/lib/auxlib 即可。
到这里准备工作就做完了依次启动 hadoop、zookeeper、hbase、hive、atlas 之后即可执行 import-hive.sh 脚本尝试导入 Hive 元数据如果还有报错对症分析或者联系我。
自动同步增量元数据
Atlas Hook 可以实现自动同步增量元数据只需要你启动 Kafka 集群即可。 Atlas 2.2.0 版本支持自动捕获如下几种 Hive 元数据变更操作
create databasecreate table/view, create table as selectload, import, exportDMLs (insert)alter databasealter table (skewed table information, stored as, protection is not supported)alter view
如上就是今天分享的内容希望能帮助到你。
