做网站编辑大专可以吗,网页设计实验报告需求分析,外贸公司网站怎么做,宝应网站http://www.cnblogs.com/gpcuster/archive/2010/02/24/1672635.html Hive是一个基于Hadoop的数据仓库平台。通过hive#xff0c;我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言#xff1a;HQL#xff0c;能够将用户编写的QL转化为相应的Mapreduce程序基于… http://www.cnblogs.com/gpcuster/archive/2010/02/24/1672635.html Hive是一个基于Hadoop的数据仓库平台。通过hive我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言HQL能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 本文讲解如何搭建一个Hive平台。假设我们有3台机器hadoop1,hadoop2,hadoop3。并且都安装好了Hadoop-0.19.2hive支持的Hadoop版本很多hosts文件配置正确。Hive部署在hadoop1机器上。 最简单最快速的部署方案 在Hadoop-0.19.2中自带了hive的文件。版本为0.3.0。 我们首先启动Hadoopsh $HADOOP_HOME/bin/start-all.sh 然后启动hive即可sh $HADOOP_HOME/contrib/hive/bin/hive 这个时候我们的Hive的命令行接口就启动起来了你可以直接输入命令来执行相应的hive应用了。 这种部署方式使用derby的嵌入式模式虽然简单快速但是无法提供多用户同时访问所以只能用于简单的测试无法实际应用于生产环境。所以我们要修改hive的默认配置提高可用性。 搭建多用户的提供web界面的部署方案 目前只用比较多hive版本是hive-0.4.1。我们将使用这个版本来搭建hive平台。 首先下载hive-0.4.1svn co http://svn.apache.org/repos/asf/hadoop/hive/tags/release-0.4.1/ hive-0.4.1 然后修改下载文件里面的编译选项文件shims/ivy.xml将其修改为如下内容对应的Hadoop版本为0.19.2 ivy-module version2.0 info organisationorg.apache.hadoop.hive moduleshims/ dependencies dependency orghadoop namecore rev0.19.2 artifact namehadoop typesource exttar.gz/ /dependency conflict managerall / /dependencies /ivy-module 接下来我们使用ant去编译hive: ant package 编译成功后我们会发现在build/dist目录中就是编译成功的文件。将这个目录设为$HIVE_HOME 修改conf/hive-default.xml文件主要修改内容如下 property namejavax.jdo.option.ConnectionURL/name valuejdbc:derby://hadoop1:1527/metastore_db;createtrue/value descriptionJDBC connect string for a JDBC metastore/description /property property namejavax.jdo.option.ConnectionDriverName/name valueorg.apache.derby.jdbc.ClientDriver/value descriptionDriver class name for a JDBC metastore/description /property 在hadoop1机器上下载并安装apache derby数据库wget http://labs.renren.com/apache-mirror/db/derby/db-derby-10.5.3.0/db-derby-10.5.3.0-bin.zip 解压derby后设置$DERBY_HOME 然后启动derby的network Serversh $DERBY_HOME/bin/startNetworkServer -h 0.0.0.0 接下来将$DERBY_HOME/lib目录下的derbyclient.jar与derbytools.jar文件copy到$HIVE_HOME/lib目录下。 启动Hadoopsh $HADOOP_HOME/bin/start-all.sh 最后启动hive的web界面sh $HIVE_HOME/bin/hive --service hwi 这样我们的hive就部署完成了。我们可以直接在浏览器中输入: http://hadoop1:9999/hwi/ 进行访问了如果不行话请将hadoop1替换为实际的ip地址如http://10.210.152.17:9999/hwi/。 这种部署方式使用derby的c/s模式允许多用户同时访问同时提供web界面方便使用。推荐使用这种部署方案。 关注Hive的schema 我们上面谈到的2中部署方案都是使用derby数据库来保存hive中的schema信息。我们也可以使用其他的数据库来保存schema信息如mysql。 可以参考这篇文章了解如果使用mysql来替换derbyhttp://www.mazsoft.com/blog/post/2010/02/01/Setting-up-HadoopHive-to-use-MySQL-as-metastore.aspx 我们也可以使用HDFS来保存schema信息具体的做法是修改conf/hive-default.xml修改内容如下 property namehive.metastore.rawstore.impl/name valueorg.apache.hadoop.hive.metastore.FileStore/value descriptionName of the class that implements org.apache.hadoop.hive.metastore.rawstore interface. This class is used to store and retrieval of raw metadata objects such as table, database/description /property 转载于:https://www.cnblogs.com/licheng/archive/2011/11/09/2242330.html
