贵阳网站建站建设定制,网站开发需要多少钱方案,建站平台 discuz,岳阳网站岳阳建站为了方便后面使用Hadoop的shell命令#xff0c;我先介绍Hadoop的安装。Hadoop有多种安装模式#xff0c;这里介绍伪分布式的安装。我测试过Ubutun、Centos和WSL#xff0c;都可以正常安装Hadoop的所有版本。所有一般不会出现版本对应的问题。Hadoop是基于Java语言进行编写的… 为了方便后面使用Hadoop的shell命令我先介绍Hadoop的安装。Hadoop有多种安装模式这里介绍伪分布式的安装。我测试过Ubutun、Centos和WSL都可以正常安装Hadoop的所有版本。所有一般不会出现版本对应的问题。Hadoop是基于Java语言进行编写的在Hadoop程序执行过程中会调用起系统环境的java虚拟机(JVM)所以我们的系统中需要安装JDK。直接搜索JDK进入官网下载即可。考虑到目前的Hadoop基本上都是基于JDK1.8的建议下载JDK1.8高版本的Java虽然也可以支持Hadoop的正常执行但是会报Warning强迫症看着应该会很难受。一、JDK安装如果你的系统是Centos可以需要卸载Centos系统自带的OpenJDK。java -version使用这个命令会看到当前系统的Java版本如果系统存在Java那么可以直接看到Java版本信息。如果没有安装Java那么应该什么也看不到。如果是OpenJDK就需要先卸载。OpenJDK卸载过程rpm -qa | grep java使用这个命令就可以看到所以的Java文件.noarch结尾的文件可以不用删除其他文件使用下述命令进行删除。rpm -e --nodeps [Java文件名]将[java文件名]替换为对应的Java文件名就可以删除了。如果提示权限不够则需要使用管理员权限。以上过程之后OpenJDK就删除完成了。OracleJDK安装找到下载好的JDK安装包我们知道Linux系统万物皆是文件所以所谓的安装过程其实就是文件的解压。tar -zxvf [文件名]同理将 [文件名] 改成对应的JDK安装包的名称。之后我们就可以看到解压好的JDK文件我们可以将其移动到我们希望安装的位置。一般都是放在 /usr 目录下。为了方便我们先将JDK文件重命名为java然后移动到 /usr 目录下。mv [文件名] javamv java /usr/之后就可以配置环境变量了。vi /etc/profile这个命令是需要root权限的建议进入root用户再进行处理。使用上述命令打开文件后在文件最后写入Java的目录信息。这样Java就安装完成了。java -version二、SSH免密登录玩过GitHub的人应该都配置过免密登录。他是为了方便用户使用避免每次使用都重新输入密码。SSH安装ssh localhost输入上述命令后若显示ssh: connect to host localhost port 22: Connection refused则意味着没有安装SSH我们需要先安装SSH。过程也很简单(Centos将apt命令改为yum命令)apt-get updatesudo apt-get install openssh-serversudo apt-get install openssh-server接着启动SSHsudo service ssh startSSH免密配置ssh-keygen输入上述命令之后一路回车即可。它会在 /home/[用户名] 目录下生成一个隐藏的 .ssh文件夹文件夹内保存着密钥信息。cd /home/[用户名]/.sshtouch authorized_keyschmod 600 authorized_keyscat id_rsa.pub authorized_keys执行时将 [用户名] 改为自己的用户目录即可。此时尝试ssh localhost发现无需密码可以直接登录成功。SSH卸载提供了一个卸载方法以备不时之需。sudo apt-get remove openssh-serversudo apt-get remove openssh-client三、Hadoop安装本着Linux中万物皆文件的哲学我们明白所谓的安装就是解压二进制安装包修改配置文件。直接进入官网下载自己想要Hadoop版本我使用的2.7.7版本。下载完之后进行解压然后修改称自己喜欢的名字放到想安装的目录下。tar -zxvf [hadoop安装包名] # 解压mv [hadoop文件名] hadoop # 重命名mv hadoop /home/hadoop/ #将文件移动到/home/hadoop目录下文件配置Hadoop安装的重点其实就是文件的配置。在hadoop文件的 etc/hadoop目录下我们会看到很多.sh或者.xml结尾的配置文件。我们需要其中几个必选项。使用 vi 命令进入文件进行修改。例如vi core-site.xml添加内容1. core-site.xmlconfiguration property namehadoop.tmp.dirname valuefile:/home/hadoop/hadoop/tmpvalue descriptionAbase for other temporary directories.description property property namefs.defaultFSname valuehdfs://localhost:9000value propertyconfiguration2. mapred-site.xml如果你只看到 mapred-site.xml.template文件自己复制一个并重命名就可以。在下面的配置中遇到同样的问题可以采用相同的方法解决。copy mapred-site.xml.template mapred-site.xmlvi mapred-site.xmlconfiguration property namemapred.job.trackername valuelocalhost:9001value property property namemapreduce.framework.namename valueyarnvalue propertyconfiguration3. hdfs-site.xmlconfiguration property namedfs.replicationname value1value property property namedfs.namenode.name.dirname valuefile:/home/hadoop/hadoop/tmp/dfs/namevalue property property namedfs.datanode.data.dirname valuefile:/home/hadoop/hadoop/tmp/dfs/datavalue propertyconfiguration4. hadoop-env.shexport JAVA_HOME[java_path]将 [java_path] 改为你自己java路径就可以。5. yarn-site.xmlconfiguration property nameyarn.nodemanager.aux-servicesname valuemapreduce_shufflevalue propertyconfiguration至此一个伪分布式Hadoop就安装完成了。Hadoop的初始化安装完成之后需要进行集群初始化当然这里我们没有集群但是初始化也是必须的。进入Hadoop文件目录。执行bin/hdfs namenode -format之后会出现一连串信息我们不用管他中途没有出现ERROR关键字我们的集群初始化就算成功了。之后就可以启动Hadoop了。sbin/start-dfs.shsbin/start-yarn.sh没有出现报错则说明启动成功输入jpsjps叮配置完成。打开浏览器输入地址 localhost:50070现在你就走出了Hadoop的新手村。关闭也很简单sbin/stop-all.sh
