网站建设前期规划,北京公司网站建设,wordpress优惠券模板,怎么给网站做关键词Hadoop单机和伪分布式安装 更新apt
用root用户登录
先更新一下 apt
apt-get update然后安装vim
apt-get install vim安装VMware tools
tools 安装 安装SSH、配置SSH无密码登陆
单节点模式都需要用到 SSH 登陆#xff0c;Ubuntu 默认已安装了 SSH client#xff0c;此…Hadoop单机和伪分布式安装 更新apt
用root用户登录
先更新一下 apt
apt-get update然后安装vim
apt-get install vim安装VMware tools
tools 安装 安装SSH、配置SSH无密码登陆
单节点模式都需要用到 SSH 登陆Ubuntu 默认已安装了 SSH client此外还 需要安装 SSH server
apt-get install openssh-server
安装后可以使用如下命令登陆本机
ssh localhost此时会有如下提示(SSH首次登陆提示)输入 yes 。然后按提示输入密码 root
密码这样就登陆到本机了。如果提示错误 请查看 root 进入ssh 出现问题
但这样登陆是需要每次输入密码的我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh就回到了我们原先的终端窗口然后利用 ssh-keygen 生成密钥并将密钥加入到授权中
exit # 退出刚才的 ssh localhostcd ~/.ssh/ # 若没有该目录请先执行一次ssh localhostssh-keygen -t rsa # 会有提示都按回车就可以cat ./id_rsa.pub ./authorized_keys # 加入授权此时再用 ssh localhost 命令无需输入密码就可以直接登陆 安装Java环境
命令如下 apt-get install default-jre default-jdk上述安装过程需要访问网络下载相关文件请保持联网状态。安装结束以后需要配置JAVA_HOME环境变量请在Linux终端中输入下面命令打开当前登录用户的环境变量配置文件.bashrc
vim ~/.bashrc在文件最前面添加如下单独一行注意等号“”前后不能有空格然后保存退出
export JAVA_HOME/usr/lib/jvm/default-java接下来要让环境变量立即生效请执行如下代码
source ~/.bashrc # 使变量设置生效执行上述命令后可以检验一下是否设置正确
echo $JAVA_HOME # 检验变量值
java -version
$JAVA_HOME/bin/java -version # 与直接执行java -version一样安装 Hadoop 2
用root用户建立文件 /install-package放压缩包 /apps 解压缩目的地
本文用的是hadoop-2.7.5.tar.gz 百度云如下 链接https://pan.baidu.com/s/1C9ba84axxH_KuYC8-1e70w 提取码r9ew
将 Hadoop 安装至 /apps 中
tar -zxf /install-package/hadoop-2.7.5.tar.gz -C /apps # 解压到/apps中
cd /apps
mv ./hadoop-2.7.5/ ./hadoop # 将文件夹名改为hadoopHadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用成功则会显示 Hadoop 版本信息
cd /apps/hadoop
./bin/hadoop versionHadoop伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行Hadoop 进程以分离的 Java 进程来运行节点既作为 NameNode 也作为 DataNode同时读取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /apps/hadoop/etc/hadoop/ 中伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式每个配置以声明 property 的 name 和 value 的方式来实现。 修改配置文件 core-site.xml将当中的
configuration
/configuration修改为下面配置
configurationpropertynamehadoop.tmp.dir/namevaluefile:/apps/hadoop/tmp/valuedescriptionAbase for other temporary directories./description/propertypropertynamefs.defaultFS/namevaluehdfs://xls-fxm:9000/value/property
/configuration同样的修改配置文件 hdfs-site.xml
configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevaluefile:/apps/hadoop/tmp/dfs/name/value/propertypropertynamedfs.datanode.data.dir/namevaluefile:/apps/hadoop/tmp/dfs/data/value/property
/configuration配置完成后执行 NameNode 的格式化:
/apps/hadoop/bin/hdfs namenode -format成功的话会看到 “successfully formatted” 和 “Exitting with status 0” 的提示若为 “Exitting with status 1” 则是出错。 接着开启 NameNode 和 DataNode 守护进程。
/apps/hadoop/sbin/start-dfs.sh #start-dfs.sh是个完整的可执行文件中间没有空格若出现SSH提示输入yes即可。
启动完成后可以通过命令 jps 来判断是否成功启动若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”如果 SecondaryNameNode 没有启动请运行 sbin/stop-dfs.sh 关闭进程然后再次尝试启动尝试。 YARN
首先修改配置文件 mapred-site.xml这边需要先进行重命名
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml然后再进行编辑
configurationpropertynamemapreduce.framework.name/namevalueyarn/value/property
/configuration接着修改配置文件 yarn-site.xml
configurationpropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property
/configuration然后就可以启动 YARN 了
/apps/hadoop/sbin/start-yarn.sh # 启动YARN
/apps/hadoop/sbin/start-yarn.sh/sbin/mr-jobhistory-daemon.sh start historyserver # 开启历史服务器才能在Web中查看任务运行情况开启后通过 jps 查看可以看到多了 NodeManager 和 ResourceManager 两个后台进程如下图所示。 上面的教程中都是先进入到 /apps/hadoop 目录中再执行 sbin/hadoop实际上等同于运行 /apps/hadoop/sbin/hadoop。可以将 Hadoop 命令的相关目录加入到 PATH 环境变量中这样就可以直接通过 start-dfs.sh 开启 Hadoop也可以直接通过 hdfs 访问 HDFS 的内容方便平时的操作。
在 ~/.bashrc 中进行设置vim ~/.bashrc与 JAVA_HOME 的设置相似在文件最前面加入如下单独一行:
export PATH$PATH:/apps/hadoop/sbin:/apps/hadoop/bin添加后执行 source ~/.bashrc 使设置生效生效后在任意目录中都可以直接使用 hdfs 等命令了。
全部启动hadoop start-all.sh
关闭hadoop stop-all.sh
****zookeeper单节点部署
