建设银行手机银行电脑版官方网站,重庆网站搜索推广,小百姓这个网站谁做的,wordpress导入表单1. HBase 与 Hive 的对比 1#xff0e;Hive (1) 数据仓库 Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系#xff0c;以 方便使用 HQL 去管理查询。
(2) 用于数据分析、清洗 Hive 适用于离线的数据分析和清洗#xff0c;延迟较高。
(3) 基于…1. HBase 与 Hive 的对比 1Hive (1) 数据仓库 Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系以 方便使用 HQL 去管理查询。
(2) 用于数据分析、清洗 Hive 适用于离线的数据分析和清洗延迟较高。
(3) 基于 HDFS、MapReduce Hive 存储的数据依旧在 DataNode 上编写的 HQL 语句终将是转换为 MapReduce 代码执 行。 2HBase (1) 数据库 是一种面向列族存储的非关系型数据库。
(2) 用于存储结构化和非结构化的数据 适用于单表非关系型数据的存储不适合做关联查询类似 JOIN 等操作。
(3) 基于 HDFS 数据持久化存储的体现形式是 HFile存放于 DataNode 中被 ResionServer 以 region 的形 式进行管理。
(4) 延迟较低接入在线业务使用 面对大量的企业数据HBase 可以直线单表大量数据的存储同时提供了高效的数据访问 速度。 2. HBase 与 Hive 集成使用
尖叫提示HBase 与 Hive 的集成在最新的两个版本中无法兼容。所以我们只能含着泪勇 敢的重新编译hive-hbase-handler-1.2.2.jar好气
propertynamehive.zookeeper.quorum/namevaluehadoop100,hadoop101,hadoop102/valuedescriptionThe list of ZooKeeper servers to talk to. This is only needed for read/write locks./description
/property
propertynamehive.zookeeper.client.port/namevalue2181/valuedescriptionThe port of ZooKeeper servers to talk to. This is only needed for read/write locks./description
/property
配置好后分发到其他服务器上 1案例一 目标建立 Hive 表关联 HBase 表插入数据到 Hive 表的同时能够影响 HBase 表。 分步实现
(1) 在 Hive 中创建表同时关联 HBase
CREATE TABLE hive_hbase_emp_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY org.apache.hadoop.hive.hbase.HBaseStorageHandler
WITH SERDEPROPERTIES (hbase.columns.mapping
:key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno)
TBLPROPERTIES (hbase.table.name hbase_emp_table);
提示完成之后可以分别进入 Hive 和 HBase 查看都生成了对应的表 (2) 在 Hive 中创建临时中间表用于 load 文件中的数据 提示不能将数据直接 load 进 Hive 所关联 HBase 的那张表中
