织梦如何生成网站地图,工商天眼查官网,wordpress 镜像存储,海珠建网站的公司1、首先将data.tar.gz解压到自定义目录中
注意#xff1a;由于数据文件的压缩包比较大#xff0c;解压过程可能会持续3~5分钟#xff0c;请耐心等待。
[rootnode3 ~]# cd /opt/software/
[rootnode3 software]# tar -xzf data.tar.gz -C /opt/ 2、利用SQLyog或者其他数据库…1、首先将data.tar.gz解压到自定义目录中
注意由于数据文件的压缩包比较大解压过程可能会持续3~5分钟请耐心等待。
[rootnode3 ~]# cd /opt/software/
[rootnode3 software]# tar -xzf data.tar.gz -C /opt/ 2、利用SQLyog或者其他数据库工具将保存在/opt/data目录中名为kongguan.sql的文件导入到MySQL数据库
使用 【mysql -uroot -p】 登录到MySQL输入密码登录123456使用 show databases 命令查看数据库列表 创建数据库
mysql create database kongguan;
mysql use kongguan; 进入kongguan数据库使用 source 命令执行kongguan.sql脚本导入数据假设sql文件的位置/opt/data/kongguan.sql
mysql use kongguan;
mysql source /opt/data/kongguan.sql;
导入数据后可使用 MySQL的show tables; 语句查看导入情况 3、将HBase备份文件空管数据及实时飞行数据导入到集群的HBase数据库
切换到node3节点在控制台输入以下命令在HDFS上创建如下目录
[rootnode3 ~]# hadoop fs -mkdir /hbase/table/ [rootnode3 ~]# hadoop fs -mkdir /hbase/table/Kg_CallSaturation [rootnode3 ~]# hadoop fs -mkdir /hbase/table/Kg_ATC [rootnode3 ~]# hadoop fs -mkdir /hbase/table/Kg_PlanData [rootnode3 ~]# hadoop fs -mkdir /hbase/table/Kg_ATCDutyInfo [rootnode3 ~]# hadoop fs -mkdir /hbase/table/Kg_FlightState [rootnode3 ~]# hadoop fs -mkdir /hbase/table/Kg_WarnFlightHistory [rootnode3 ~]# hadoop fs -mkdir /hbase/table/Kg_AFTN [rootnode3 ~]# hadoop fs -mkdir /hbase/table/Kg_WarnSimilarHistory [rootnode3 ~]# hadoop fs -mkdir /hbase/table/Kg_MultiRadarData
查看HDFS上目录的创建情况 把数据上传至hdfs
注意由于数据量较大上传数据的过程可能会持续3-5分钟的时间请耐心等待。
[rootnode3 ~]# hadoop fs -put /opt/data/Kg_CallSaturation /hbase/table/Kg_CallSaturation
[rootnode3 ~]# hadoop fs -put /opt/data/Kg_ATC /hbase/table/Kg_ATC
[rootnode3 ~]# hadoop fs -put /opt/data/Kg_PlanData /hbase/table/Kg_PlanData
[rootnode3 ~]# hadoop fs -put /opt/data/Kg_ATCDutyInfo /hbase/table/Kg_ATCDutyInfo
[rootnode3 ~]# hadoop fs -put /opt/data/Kg_FlightState /hbase/table/Kg_FlightState
[rootnode3 ~]# hadoop fs -put /opt/data/Kg_WarnFlightHistory /hbase/table/Kg_WarnFlightHistory
[rootnode3 ~]# hadoop fs -put /opt/data/Kg_AFTN /hbase/table/Kg_AFTN
[rootnode3 ~]# hadoop fs -put /opt/data/Kg_WarnSimilarHistory /hbase/table/Kg_WarnSimilarHistory
[rootnode3 ~]# hadoop fs -put /opt/data/Kg_MultiRadarData /hbase/table/Kg_MultiRadarData
进入HBase客户端运行【hbase shell】进入
[rootnode3 software]# hbase shell
创建HBase表
create Kg_CallSaturation,SaturationHome
create Kg_ATC,ATCHome
create Kg_PlanData,ReportHome
create Kg_ATCDutyInfo,ATCDutyHome
create Kg_FlightState,StateHome
create Kg_WarnFlightHistory,WarnFlightHome
create Kg_AFTN,AFTNHome
create Kg_WarnSimilarHistory,WarnSimilarHome
create Kg_MultiRadarData,RadarHome 查看创建情况 退出HBase客户端 然后执行导入操作
注意由于此过程要执行多个MapReduce操作可能需要5-10分钟左右的时间请耐心等待。
解释
[rootnode3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_CallSaturation /hbase/table/Kg_CallSaturation/Kg_CallSaturation
[rootnode3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_ATC /hbase/table/Kg_ATC/Kg_ATC
[rootnode3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_PlanData /hbase/table/Kg_PlanData/Kg_PlanData
[rootnode3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_ATCDutyInfo /hbase/table/Kg_ATCDutyInfo/Kg_ATCDutyInfo
[rootnode3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_FlightState /hbase/table/Kg_FlightState/Kg_FlightState
[rootnode3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_WarnFlightHistory /hbase/table/Kg_WarnFlightHistory/Kg_WarnFlightHistory
[rootnode3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_AFTN /hbase/table/Kg_AFTN/Kg_AFTN
[rootnode3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_WarnSimilarHistory /hbase/table/Kg_WarnSimilarHistory/Kg_WarnSimilarHistory
[rootnode3 software]# hbase org.apache.hadoop.hbase.mapreduce.Import Kg_MultiRadarData /hbase/table/Kg_MultiRadarData/Kg_MultiRadarData
例如 查看数据导入情况 4、实时飞行数据说明
解压data.tar.gz后的文件导入到集群的HBase数据库所以直接读取HBase即可但是由于真实的数据里实时飞行数据的时间间隔过短在地图上不能感觉到飞机的实时运动状态所以在项目中使用的实时飞行数据是从HBase中取出的真实飞行数据经过一定的处理后将时间间隔变大的数据这样做可以在地图上明显感觉到飞机的运动状态。当前项目提供了已经处理好的实时飞行数据即part-00000 ~ part-00011。使用时需要根据当前位置修改后台读取的位置即可如下图 part-000xx文件的内容格式如下 这些文件可以放到本地也可以放到HDFS上例如如果要在【client节点机器上】上读取“实时飞行数据”可以使用【scp】命令将该数据从node3节点复制到client节点上。 [rootnode3 ~]# scp -rq /opt/data client:/opt/
在后面阶段任务读取时要根据自己的实际存放位置修改代码中的读取路径
