网站管理内容,怎样去掉2345网址导航,中国临沂网站优化,wordpress建站需要写代码吗1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以不需要了解分布式底层细节的情况下#xff0c;开发分布式程序。充分利用集群进行高速运算和存储。
2、下载Hadoop#xff0c;我们在清华大学的镜像站下载
Index of /apache/hadoop/core/hadoop-3.3.6 (t…1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以不需要了解分布式底层细节的情况下开发分布式程序。充分利用集群进行高速运算和存储。
2、下载Hadoop我们在清华大学的镜像站下载
Index of /apache/hadoop/core/hadoop-3.3.6 (tsinghua.edu.cn)
3、下载之后解压缩
4、安装相应的环境
4.1、jdk1.8或者jdk11
4.2、配置hadoop环境
5、修改hadoop配置
5.1、修改start-all.cmd中的配置 rem start hdfs daemons if hdfs is present
if exist %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd (call %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd --config %HADOOP_CONF_DIR%
)rem start yarn daemons if yarn is present
if exist %HADOOP_YARN_HOME%\sbin\start-yarn.cmd (call %HADOOP_YARN_HOME%\sbin\start-yarn.cmd --config %HADOOP_CONF_DIR%
) 5.2、修改yarn-site.xml configuration!-- Site specific YARN configuration properties --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/propertypropertynameyarn.nodemanager.aux-services.mapreduce_shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value/propertypropertynameyarn.resourcemanager.hostname/namevaluelocalhost/value/property
/configuration5.3、mapred-site.xml configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property
/configuration5.4、hdfs-site.xml configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevalue/D:/bigdata/hadoop/data/namenode/value //注意前面部分路径修改为自己的/propertypropertynamedfs.datanode.data.dir/namevalue/D:/bigdata/hadoop/data/datanode/value //注意前面部分路径修改为自己的/propertypropertynamedfs.permissions.enabled/namevaluefalse/value/property
/configuration 5.5、core-site.xml configurationpropertynamehadoop.tmp.dir/namevalue/D:/bigdata/hadoop/data/tmp/value //注意前面部分路径修改为自己的/propertypropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/propertypropertynamehadoop.http.authentication.simple.anonymous.allowed/namevaluetrue/value/property
/configuration 5.6、需要拷贝winutils下的winutils.exehadoop.dll到hadoop的bin下面 在/ect/hadoop/hadoop-env.cmd中设置set JAVA_HOMED:/Java/jdk1.8.0_311jdk的环境地址 5.7、输入hdfs namenode -format格式化
hdfs namenode -format
5.8、进入hadoop/sbin目录执行start-all.cmd
D:\bigdata\hadoop\sbinstart-all.cmd
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons 5.9、jps查看
D:\bigdata\hadoop\sbinjps
8448 Jps
28360 NameNode
29592 ResourceManager
18108 NodeManager
20940 DataNode
5.10、启动成功后界面
http://localhost:8088/cluster http://localhost:9870/ 单机版的hadoop就启动成功
