做变形字的网站,.net做网站开发,正规免费发布信息平台,做的好的农产品网站有哪些1 目的
持久化元数据
Flink利用Hive的MetaStore作为持久化的Catalog#xff0c;我们可通过HiveCatalog将不同会话中的 Flink元数据存储到Hive Metastore 中。
利用 Flink 来读写 Hive 的表
Flink打通了与Hive的集成#xff0c;如同使用SparkSQL或者Impala操作Hive中的数据…1 目的
持久化元数据
Flink利用Hive的MetaStore作为持久化的Catalog我们可通过HiveCatalog将不同会话中的 Flink元数据存储到Hive Metastore 中。
利用 Flink 来读写 Hive 的表
Flink打通了与Hive的集成如同使用SparkSQL或者Impala操作Hive中的数据一样我们可以使用Flink直接读写Hive中的表。
2 环境及依赖
环境
vim /etc/profileexport HADOOP_CLASSPATHhadoop classpath
依赖项
flink-sql-connector-hive-3.1.2_2.12-1.16.2.jar
https://mvnrepository.com/artifact/org.apache.flink/flink-sql-connector-hive-3.1.2_2.12
hudi-hive-sync-0.13.0.jar存在于Hive安装路径下的lib文件夹
3 使用Catalog
Hive Catalog的主要作用是使用Hive MetaStore去管理Flink的元数据。Hive Catalog可以将元数据进行持久化这样后续的操作就可以反复使用这些表的元数据而不用每次使用时都要重新注册。如果不去持久化catalog那么在每个session中取处理数据都要去重复地创建元数据对象这样是非常耗时的。
-- 创建一个catalag
CREATE CATALOG hive_catalog WITH (type hive,hive-conf-dir /etc/hive/conf
);
show catalogs use catalog hive_catalog;
打开hive命令窗口 beeline -u jdbc:hive2://bigdataxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx -n hive 这样可以在flink sql读写hive表 切换方言:
SET table.sql-dialecthive;
SET table.sql-dialectdefault;
