当前位置: 首页 > news >正文

互联网专属保险什么意思优化搜索引擎的方法

互联网专属保险什么意思,优化搜索引擎的方法,山东新闻 最新消息 今天,学院网站的系统建设方式这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例#xff0c;已成功搭建完全分布式集群#xff0c;并测试跑实例。 9 安装hbase 温馨提示#xff1a;安装hbase先在master主节点上配置#xff0c;然后远程复制到slave01或slave02 #xf…这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例已成功搭建完全分布式集群并测试跑实例。 9 安装hbase 温馨提示安装hbase先在master主节点上配置然后远程复制到slave01或slave02 在配置环境即可。 9.1 解压并配置环境变量 9.1.1 解压安装包 1)使用WinSCP将hbase-2.2.2-bin.tar.gz的压缩包从windows系统传至master主节点机器上并放置在/opt/software目录中同时创建 /usr/hbase目录后续将hbase-2.2.2-bin.tar.gz的压缩包解压到/usr/hbase即可。 2)在usr下创建hbase文件夹 mkdir -p /usr/hbase 3将放置在/opt/software目录中hbase-2.2.2-bin.tar.gz解压到/usr/hbase目录下 tar –zxvf /opt/software/hbase-2.2.2-bin.tar.gz -C /usr/hbase 9.1.2 修改配置文件hbase-env.sh 1先进入hbase配置目录conf cd /usr/hbase/hbase-2.2.2/conf 2修改配置文件hbase-env.sh vim hbase-env.sh 3并修改文件内容 export HBASE_MANAGES_ZKfalse export JAVA_HOME/usr/java/jdk1.8.0_162 export HBASE_CLASSPATH/usr/hadoop/hadoop-2.7.3/etc/hadoop 注 一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理一个zookeep集群即Hbase默认自带一个zookeep集群。这个集群会随着Hbase的启动而启动。而在实际的商业项目中通常自己管理一个zookeeper集群更便于优化配置提高集群工作效率但需要配置Hbase。需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK 来切换。这个值默认是true的作用是让Hbase启动的时候同时也启动zookeeper.在本实验中我们采用独立运行zookeeper集群的方式故将其属性值改为false。 9.1.3 修改配置文件vim hbase-site.xml propertynamehbase.rootdir/namevaluehdfs://LBJ:9000/hbase/value /property propertynamehbase.cluster.distributed/namevaluetrue/value /property propertynamehbase.master/namevaluehdfs://LBJ:6000/value /property propertynamehbase.zookeeper.quorum/namevalueLBJ,slave01,slave02/value /property propertynamehbase.zookeeper.property.dataDir/namevalue/usr/zookeeper/zookeeper-3.4.10/value /property注 要想运行完全分布式模式加一个属性 hbase.cluster.distributed 设置为 true 然后把 hbase.rootdir 设置为HDFS的NameNode的位置 hbase.rootdir这个目录是region server的共享目录用来持久化Hbase。URL需要是’完全正确’的还要包含文件系统的schemehbase.cluster.distributed Hbase的运行模式。false是单机模式true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。在hbase-site.xml配置zookeeper当Hbase管理zookeeper的时候你可以通过修改zoo.cfg来配置zookeeper对于zookeepr的配置你至少要在 hbase-site.xml中列出zookeepr的ensemble servers具体的字段是 hbase.zookeeper.quorum.在这里列出Zookeeper集群的地址列表用逗号分割。 hbase.zookeeper.property.clientPortZooKeeper的zoo.conf中的配置,客户端连接的端口。hbase.zookeeper.property.dataDirZooKeeper的zoo.conf中的配置。对于独立的Zookeeper要指明Zookeeper的host和端口。需要在 hbase-site.xml中设置。 9.1.4 修改配置文件conf/regionservers vim regionservers 将里面修改为:两个从节点名称 slave01 Slave02 9.1.5 hadoop配置文件拷入hbase的目录下 hadoop配置文件拷入hbase的目录下(当前目录为/usr/hbase/hbase-2.2.2/conf) cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml /usr/hbase/hbase-2.2.2/conf cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml /usr/hbase/hbase-2.2.2/conf 9.2 分发hbase到子节点并配置环境 9.2.1 分发hbase到子节点 scp -r /usr/hbase rootslave01:/usr/ scp -r /usr/hbase rootslave02:/usr/ 9.2.2 子节点配置hbase环境三台机器都需配置 vim /etc/profile 需要配置Hbase环境变量 #hbase export HBASE_HOME/usr/hbase/hbase-2.2.2 export PATH$PATH:$HBASE_HOME/bin 是配置生效source /etc/profile 在master上 在slave01上 在slave02上 9.3 运行和测试(在master上执行并保证hadoop和zookeeper已开启) 在/usr/hbaes/hbase-2.2.2目录下cd /usr/hbaes/hbase-2.2.2/ bin/start-hbase.sh #开启hbase jps 在master上 在slave01上 在slave02上 9.4 shell操作 9.4.1 进入shell界面 在/usr/hbaes/hbase-2.2.2目录下cd /usr/hbaes/hbase-2.2.2/ bin/hbase shell 1在HBase中用create命令创建表 create student,Sname,Ssex,Sage,Sdept,course 2此时即创建了一个“student”表属性有Sname,Ssex,Sage,Sdept,course。因为HBase的表中会有一个系统默认的属性作为行键无需自行创建默认为put命令操作中表名后第一个数据。创建完“student”表后可通过describe命令查看“student”表的基本信息。 describe student 9.4.2 hbase数据库基本操作 温馨提示 在添加数据时HBase会自动为添加的数据添加一个时间戳故在需要修改数据时只需直接添加数据HBase即会生成一个新的版本从而完成“改”操作旧的版本依旧保留系统会定时回收垃圾数据只留下最新的几个版本保存的版本数可以在创建表的时候指定。 1添加数据 注HBase中用put命令添加数据注意一次只能为一个表的一行数据的一个列也就是一个单元格添加一个数据。 当运行命令put ‘student’,’95001’,’Sname’,’LiYing’时即为student表添加了学号为95001名字为LiYing的一行数据其行键为95001。 put student,95001,Sname,LiYing put student,95001,course:math,90 即为95001行下的course列族的math列添加了一个数据。 2删除数据 delete用于删除一个数据是put的反向操作。 deleteall操作用于删除一行数据 ①delete delete ‘student’,‘95001’,‘Ssex’ 即删除了student表中95001行下的Ssex列的所有数据 ②deleteall 先put ‘student’,’110’,’Sname’,’LBJ’ 再deleteall ‘student’,‘110’ 3查看数据 get用于查看表的某一行数据。 scan用于查看某个表的全部数据。 ①get get ‘student’,110’ ②scan scan ‘student’ 4删除表格 删除表有两步第一步先让该表不可用第二步删除表。 disable ‘student’ drop ‘student’ 9.4.3 hbase数据库查询表历史数据 1在创建表格时指定保存的版本数(这里假设指定为5) create teacher,{NAMEusername,VERSIONS5} 2)插入数据然后更新数据使其产生历史版本数据用put命令插入数据和更新数据 put ‘teacher’,‘91001’,‘username’,‘LBJ’ put ‘teacher’,‘91001’,‘username’,‘AD’ put ‘teacher’,‘91001’,‘username’,‘GUI’ put ‘teacher’,‘91001’,‘username’,‘Melo’ put ‘teacher’,‘91001’,‘username’,‘KD’ put ‘teacher’,‘91001’,‘username’,‘Harden’ 3查询时指定查询的历史版本数。默认会查询出最新的数据。有效取值为1到5 get ‘teacher’,‘91001’,{COLUMN‘username’,VERSIONS5} 注由于value为LBJ的数据最先插入查询的数据有效取值为1~5所以没有value为LBJ的数据。 9.4.4 退出hbase数据库 注先退出shell命令界面用exit退出。退出shell命令界面后才能关闭hbase。 exit 关闭hbasebin/stop-hbase.sh 10 安装hive 注选用hive的远程模式slave02安装mysql server用于存放元数据slave01作为hive server作为thrift 服务器master作为client客户端进行操作。 10.1 在slave02上安装MySQL server 1)查找yum源中是否有MySQL: yum list | grep mysql 2)下载mysql的repo源: wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm 3)安装mysql-community-release-el7-5.noarch.rpm包: sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm 注安装这个包后就会获得两个mysql的yum repo源如下 4安装mysql sudo yum install mysql-server 5查看mysqld服务是否开启 ①查看mysqld服务 sudo service mysqld status systemctl daemon-reload #重新加载某服务配置文件包括Mysql service mysql start #开启mysql systemctl enable mysqld #开启”mysqld”后再设置其开机自启可不做 sudo netstat -tap | grep mysql #查看mysql的开放的端口 结果发现还没有全部开启 ⑤开放所有端口以便远程连接。 在/etc/目录下找到my.cnf文件 vim my.cnf 在文件中添加 bind-address 0.0.0.0 所有端口开启成功 安装成功 systemctl status mysql #验证”mysql.service”服务器正在运行 6重新设置mysql密码 ①将本地密码设置成123456 mysqladmin -u root password 123456 第一次设置都可以成功如果不能成功设置可以参考一下的步骤 在my.cnf文件中加入skip-grant-tables #即可实现免密码登录 然后在mysql中修改密码即可 修改成功 不要忘记把skip-grant-tables删除 ②首先删除之前的root账户然后建立可本机且远程访问的root show databases; use mysql; select user,host, authentication_string from user; 注: 每个人的root用户不同有的没有有的可能 ‘root’‘localhost’ 按自己情况删除 drop user rootlocalhost; select user,host,authentication_string from user; 显示root已被删除 create user rootlocalhost identified by 123456; 允许远程连接 grant all privileges on . to ‘root’‘localhost’ identified by ‘root’ with grant option; flush privileges; 由于远程连接可能会失败所以建议把localhost改为% 允许远程连接 grant all privileges on . to ‘root’‘%’ identified by ‘root’ with grant option; 并将登录密码改为root 在终端中使用”root”用户和新设置的密码登入MySql即可命令如下 mysql -u root –p 更多修改登录密码的操作可以参考Mysql初始化root密码和允许远程访问 - 敏捷的水 - 博客园 (cnblogs.com) 本机mysql使用账号和密码 ③成功安装MySql数据库后需要确保部署数据库的服务器上的3306端口已经开启且可以使用数据库连接软件远程访问MySql数据库。 使用以下命令查看3306端口情况 netstat -ntpl |grep 3306 3306端口成功侦听了全部地址 7远程连接登录mysql测试 最好使用navcat等远程连接mysql工具 ip为机器的ip名。 8用root登入mysql创建元数据库hive create database hive; show databases; exit #退出mysql仅退出未关服务 10.2 在master和slave01上安装hive 1)使用WinSCP将apache-hive-2.1.1-bin.tar.gz的压缩包从windows系统传至master主节点机器上并放置在/opt/software目录中同时创建 /usr/hive目录后续将apache-hive-2.1.1-bin.tar.gz的压缩包解压到/usr/hive即可。 cp /home/hadoop/tmp/apache-hive-2.1.1-bin.tar.gz /opt/software 2)在master上创建hive目录并解压hive安装包 mkdir -p /usr/hive cd /usr/hive 解压到/usr/hive/下 tar -zxvf /opt/software/apache-hive-2.1.1-bin.tar.gz -C /usr/hive/ 3同时需要一些联机操作在slave01上建立文件夹/usr/hive然后在master中将安装包远程复制到slave1。 mkdir -p /usr/hive scp -r /usr/hive/apache-hive-2.1.1-bin rootslave01:/usr/hive/ 10.3 在master和slave01上配置hive的环境 修改/etc/profile文件设置hive环境变量。master和slave1都执行 vim /etc/profile #hive export HIVE_HOME/usr/hive/apache-hive-2.1.1-bin export PATH$PATH:$HIVE_HOME/bin 并生效 source /etc/profile 在master上 在slave01上 10.4 解决版本冲突和jar包依赖问题 由于客户端需要和hadoop通信所以需要更改Hadoop中jline的版本。即保留一个高版本的jline jar包从hive的lib包中拷贝到Hadoop中lib位置为/usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib。master中执行 cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/ 因为服务端需要和Mysql通信所以服务端需要将Mysql的依赖包放在Hive的lib目录下。slave01中进行 先进入/usr/hive/apache-hive-2.1.1-bin/lib下 cd /usr/hive/apache-hive-2.1.1-bin/lib cp /home/hadoop/tmp/mysql-connector-java-5.1.47-bin.jar /usr/hive/apache-hive-2.1.1-bin/lib 10.5 将slave01作为服务器端并配置hive 10.5.1配置hive-env.sh文件 注回到slave1修改hive-env.sh文件中HADOOP_HOME环境变量。进入hive配置目录因为hive中已经给出配置文件的范本hive-env.sh.template直接将其复制一个进行修改即可 cd $HIVE_HOME/conf cp hive-env.sh.template hive-env.sh vim hive-env.sh hive-env.sh文件中修改HADOOP_HOME环境变量。 HADOOP_HOME/usr/hadoop/hadoop-2.7.3 export HIVE_CONF_DIR/usr/hive/apache-hive-2.1.1-bin/conf export HIVE_AUX_JARS_PATH/usr/hive/apache-hive-2.1.1-bin/lib 10.5.2配置hive-site.xml文件 ①配置hive-site.xml文件 注conf里是没有这个文件的我们自己创建配置直接vim hive-site.xml即可直接创建该新文件。保存退出即可wq configuration !-- Hive产生的元数据存放位置-- property namehive.metastore.warehouse.dir/name value/usr/hive_remote/warehouse/value /property !-- 数据库连接JDBC的URL地址-- property namejavax.jdo.option.ConnectionURL/name valuejdbc:mysql://slave02:3306/hive?createDatabaseIfNotExisttrue/value /property !-- 数据库连接driver即MySQL驱动-- property namejavax.jdo.option.ConnectionDriverName/name valuecom.mysql.jdbc.Driver/value /property !-- MySQL数据库用户名-- property namejavax.jdo.option.ConnectionUserName/name valueroot/value /property !-- MySQL数据库密码-- property namejavax.jdo.option.ConnectionPassword/name valueroot/value /property property namehive.metastore.schema.verification/name valuefalse/value /property property namedatanucleus.schema.autoCreateAll/name valuetrue/value /property /configuration②在/usr下用mkdir -p新建hive_remote/warehouse目录在配置文件中用到hive产生元数据的存储文件夹。 10.6 将master作为客户端配置hive 先进入hive修改配置文件目录 cd $HIVE_HOME/conf 10.6.1 配置 hive-site.xml ①配置hive-site.xml文件 先vim hive-site.xml configuration !-- Hive产生的元数据存放位置-- property namehive.metastore.warehouse.dir/name value/usr/hive_remote/warehouse/value /property !--- 使用本地服务连接Hive,默认为true-- property namehive.metastore.local/name valuefalse/value /property !-- 连接服务器-- property namehive.metastore.uris/name valuethrift://slave01:9083/value /property /configuration②在/usr下用mkdir -p新建hive_remote/warehouse目录在配置文件中用到hive产生元数据的存储文件夹。 10.6.2 配置 hive-env.sh文件 在master上 先拷贝hive-env.sh.template文件命名为hive-env.sh cp hive-env.sh.template hive-env.sh vim hive-env.sh hive-env.sh文件中修改HADOOP_HOME环境变量。 HADOOP_HOME/usr/hadoop/hadoop-2.7.3 export HIVE_CONF_DIR/usr/hive/apache-hive-2.1.1-bin/conf export HIVE_AUX_JARS_PATH/usr/hive/apache-hive-2.1.1-bin/lib 10.7 启动hive 注启动前按顺序将之前所有的hadoopzookeeperhbase服务启动否则在master上输入bin/hive命令时会报错。 1启动hive server服务slave01上 先进入 /usr/hive/apache-hive-2.1.1-bin/ 接着bin/hive --service metastorehive后面后空格 启动成功注slave01启动hive后有些关于ssl的warn如下应该是slave02和其余节点未免密以后安装集群在一开始集群免密还是要三台机器都互相免密 2在master上启动hive client ①进入/usr/hive/apache-hive-2.1.1-bin/目录 cd /usr/hive/apache-hive-2.1.1-bin/ bin/hive #启动hive ②测试hive是否启动成功 show databases; 创建数据库hive_dbcreate database hive_db;之前已经创建 ③查看runjar(启动成功的标志) 先不要关闭当前终端会话去外面打开一个新的终端会话打开另一个terminal jps 11 安装Spark 11.1 安装scala环境 1使用WinSCP将scala-2.11.12.tgz的压缩包从windows系统传至master主节点机器上并放置在/opt/software目录中同时创建 /usr/scala目录后续将scala-2.11.12.tgz的压缩包解压到/usr/scala即可。先在master配置好在分发到slave01、slave02节点上 cp /home/hadoop/tmp/scala-2.11.12.tgz /opt/software/ 2)创建 /usr/scala目录并解压scala mkdir -p /usr/scala cd /usr/scala tar -zxvf /opt/software/scala-2.11.12.tgz -C /usr/scala/ rm -rf /opt/software/scala-2.11.12.tgz 3)配置scala的环境变量并生效 vim /etc/profile #scala export SCALA_HOME/usr/scala/scala-2.11.12 export PATH$SCALA_HOME/bin:$PATHsource /etc/profile 4查看scala是否安装成功 scala -version 5将scala分发复制到其他节点 scp -r /usr/scala rootslave01:/usr/ scp -r /usr/scala rootslave02:/usr/ 并在其他节点配置环境变量并使之生效。 在slave01查看scala是否安装成功 在slave02查看scala是否安装成功 做完这一步scala安装完成了 11.2 安装Spark具体 1使用WinSCP将spark-2.4.0-bin-hadoop2.7.tgz的压缩包从windows系统传至master主节点机器上并放置在/opt/software目录中同时创建 /usr/spark目录后续将spark-2.4.0-bin-hadoop2.7.tgz的压缩包解压到/usr/spark即可。先在master配置好在分发到slave01、slave02节点上 cp /home/hadoop/tmp/spark-2.4.0-bin-hadoop2.7.tgz /opt/software/ 2)创建 /usr/spark目录并解压spark mkdir -p /usr/spark cd /usr/spark tar -zxvf /opt/software/spark-2.4.0-bin-hadoop2.7.tgz -C /usr/spark rm -rf /opt/software/spark-3.0.3-bin-hadoop2.7.tgz 3)配置spark-env.sh文件 由于没有spark-env.sh文件需要复制一份spark-env.sh.template cd spark-3.0.3-bin-hadoop2.7/conf/ cp spark-env.sh.template spark-env.sh vim spark-env.sh 添加以下内容 export SPARK_MASTER_IPLBJ export SCALA_HOME/usr/scala/scala-2.11.12 export SPARK_WORKER_MEMORY8g export JAVA_HOME/usr/java/jdk1.8.0_162 export HADOOP_HOME/usr/hadoop/hadoop-2.7.3 export HADOOP_CONF_DIR/usr/hadoop/hadoop-2.7.3/etc/hadoop4配置spark从节点修改slaves文件 注注意slaves节点中只包含节点信息其他注释不需要 由于没有slaves文件需要复制一份slaves.template cp slaves.template slaves vim slaves 5将spark分发复制到其他节点 scp -r /usr/spark rootslave01:/usr/ scp -r /usr/spark rootslave02:/usr/ 6配置spark环境变量三台机器都做一样操作 vim /etc/profile 添加内容 #spark export SPARK_HOME/usr/spark/spark-2.4.0-bin-hadoop2.7 export PATH$SPARK_HOME/bin:$PATH使之生效source /etc/profile 7开启spark在master节点上 /usr/spark/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh jps 在master上 在slave01上 在slave02上 做完这一步spark安装完成了 11.3 运行例程 注运行spark自带例程和shell命令板块。 1运行自带例程进行验证 cd /usr/spark/spark-2.4.0-bin-hadoop2.7/ bin/run-example SparkPi bin/run-example SparkPi 21 | grep Pi is 2shell命令验证 进入shell命令界面bin/spark-shell 加载text文件 spark创建sc可以加载本地文件和HDFS文件创建RDD。这里用Spark自带的本地文件README.md文件测试。 val textFile sc.textFile(file:///usr/spark/spark-2.4.0-bin-hadoop2.7/README.md) 简单RDD操作 //获取RDD文件textFile的第一行内容 textFile.first() //获取RDD文件textFile所有项的计数 textFile.count( ) //抽取含有“Spark”的行返回一个新的RDD val lineWithSpark textFile.filter(line line.contains(“Spark”)) //统计新的RDD的行数 lineWithSpark.count() 可以通过组合RDD操作进行组合可以实现简易MapReduce操作 //找出文本中每行的最多单词数 textFile.map(line line.split( ).size).reduce((a, b) if (a b) a else b) 退出Spark Shell 输入exit即可退出spark shell :quit 做完这一步运行例程验证完成了 12 安装eclipse 1使用WinSCP将eclipse-committers-2020-03-R-linux-gtk-x86_64.tar.gz的压缩包从windows系统传至master主节点机器上在master上解压安装在/usr/即可。 tar -zxvf /home/hadoop/tmp/eclipse-committers-2020-03-R-linux-gtk-x86_64.tar.gz -C /usr/ 启动eclipse 做完这一步安装eclipse完成了 后续使用eclipse编程会在后续实现。 做完以上操作hadoop的完全分布式集群搭建成功 三台CentOS7.6虚拟机搭建Hadoop完全分布式集群三笔记到此完结笔者归纳、创作不易大佬们给个3连再起飞吧
http://www.pierceye.com/news/229580/

相关文章:

  • flash个人网站欣赏网站营销单页怎么做
  • 设计网站用什么语言网站建设需求范文
  • seo织梦网站建设步骤昆明网络营销软件
  • 企业网站 静态页面成都设计公司邮箱
  • 创世网站建设 优帮云北京网站建设工作室
  • 网站空间提供商哪个网站可以做英文兼职
  • 社区网站制作平台网站建设调研报告
  • 不会建网站怎么赚钱dw个人主页模板
  • 自助建站系统哪个好thinkphp做的网站源码
  • 广州企业网站模板建站现在有什么网站可以做兼职的
  • 网站开发 公司百度seo公司整站优化软件
  • 沈阳学网站制作学校网络推广龙岗比较好的
  • 佛山 建站公司网站风格一般具有哪三大特征
  • 网站的二级页面怎么做济南网站建设行知科技不错
  • 网站赢利如何查看实时街景地图
  • 手表网站欧米茄官方网络平台管理制度和管理办法
  • 北京网站建设网站网站不用工具开发建设
  • 杭州做网站外包公司有哪些网站幻灯片效果
  • 北京模板建站代理好看怎么上传视频网站吗
  • 品牌网站建设小科6a蚪html制作电影网页
  • 环保网站建设维护情况报告北京seo方法
  • 网站建设及使用企业名字查重系统
  • 新乡微网站建设如果做vr参观网站
  • 昆山苏州网站建设地方门户类网站有哪些
  • 网站建设与维护 许宝良 课件企业网站建设费用会计科目
  • react做的网站有哪些帮别人推广赚钱
  • php 深圳 电子商务网站开发苏州餐饮 网站建设
  • 相机拍照的图片怎么做网站呀现在的企业一般用的什么邮箱
  • 深圳自适应网站公司wordpress更改固定链接后
  • 网站报价网站源码下载工具