网站红色,做网站跟app的区别,做架构图简单的网站,注册城乡规划师和国土空间规划师在开始配置前#xff0c;我们先了解Hadoop的三种运行模式。
Hadoop的三种运行模式
独立#xff08;或本地#xff09;模式#xff1a;无需运行任何守护进程#xff0c;所有程序都在同一个JVM上执行。在独立模式下测试和调试MapReduce程序很方便#xff0c;因此该模式在…在开始配置前我们先了解Hadoop的三种运行模式。
Hadoop的三种运行模式
独立或本地模式无需运行任何守护进程所有程序都在同一个JVM上执行。在独立模式下测试和调试MapReduce程序很方便因此该模式在开发阶段比较适合。**伪分布式模式**Hadoop守护进程运行在本地机器上模拟一个小规模的集群。**全分布式模式**Hadoop守护进程运行在一个集群上。
下面我们进入正题即如何在Windows 7上搭建Hadoop伪分布式环境。
安装JDK设置环境变量。 首先在控制面板上查看自己的操作系统是32位还是64位。 然后检查自己的电脑上是否已经具备Java环境。步骤如下 1CtrlR 2cmd 3输入java -version若正常显示java版本证明本机已安装java环境跳到步骤2.若显示“不是内部或外部命令”则需要安装JDK继续步骤4 4 安装JDK楼主用的是jdk-8u131-windows-x64.exe因为不允许重复上传CSDN资源所以楼主无法提供给大家可以自行下载。说明只需安装JDK不需要安装JRE。 5配置Java环境变量配置路径计算机右键–属性–高级系统设置—高级–环境变量。 在系统变量处新建变量名JAVA_HOME变量值你安装JDK的位置楼主的是D:\Tools\jdk 修改path在原有的那串变量值后增加%JAVA_HOME%\bin;… 6测试Java环境 在cmd窗口 测试Java环境 echo %JAVA_HOME% echo %path% path java -version javac -version下载Hadoop 2.7.7这个楼主传了资源诚信赚分哈哈https://download.csdn.net/download/u013159040/10620584 下载解压到某个文件夹如D:\Tools\Hadoop下载window util for hadoop。为了配合hadoop 2.7.7楼主也上传了资源https://download.csdn.net/download/u013159040/10620589下载后解压到hadoop2.7.7的bin目录下直接覆盖该目录下的所有内容。请注意此util与具体的hadoop版本是有关的如果选用不同的hadoop版本需要找到正确的util。添加Hadoop环境变量参考Java的新建HADOOP_HOME 变量名同样是自己存放hadoop的位置如D:\Tools\Hadoop\hadoop-2.7.7 并添加path路径%HADOOP_HOME%\bin创建nodename和datanode目录用来保存数据如 d:\tools\hadoop\data\namenode d:\tools\hadoop\data\datanode在D:\Tools\Hadoop\hadoop-2.7.7\etc\hadoop里修改4个配置文件core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml
configurationpropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property
/configuration
hdfs-site.xml不要直接复制楼主的要看看自己的namenode和datanode存放的位置是否和楼主一致不一致的要修改
configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevalue/D:/Tools/data/namenode/value/propertypropertynamedfs.datanode.data.dir/namevalue/D:/Tools/data/datanode/value/property
/configuration
mapred-site.xml
configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property
/configuration
yarn-site.xml
configuration!-- Site specific YARN configuration properties --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.aux-services.mapreduce.shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value/propertypropertynameyarn.scheduler.minimum-allocation-mb/namevalue1024/value/propertypropertynameyarn.nodemanager.resource.memory-mb/namevalue4096/value/propertypropertynameyarn.nodemanager.resource.cpu-vcores/namevalue2/value/property
/configuration
7.上面步骤完成设置后就可以试着运行Hadoop了。 Hadoop 启动命令start -all.cmd Hadoop 结束命令stop -all.cmd 进入到自己的hadoop sbin目录一直cd就行了启动start-all.cmd再jps查看java进程如下图 同时会跳出4个窗口
web方式查看文件系统http://localhost:50070/ 查看mapreduce jobhttp://localhost:8088 由NameNode守护进程服务提供 下面可以测试Hadoop自带的Wordcount
在d盘新建一个txt文件t1.txt 把t1上传到HDFS: hadoop fs -put d:\t1.txt /t1/t1.txtcd进到mapreduce然后可以开始运行wordcount了 hadoop jar /D:\Application\hadoop-2.7.7\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.7.jar wordcount \t1 \output 然后我们可以看到词频统计结果 网页上查看的如下 可以下载分布式文件系统上的这个t1.txt文件。
——————————————–欢迎一起学习探讨————————————————
