敦煌网站做外贸怎样,做公司简介需要多少钱,观澜建网站,网站需要前台后台文章目录 前言运行前准备工作1、安装Hadoop3.1.0配置winutils原因描述配置方式注意点#xff08;hadoop.dll拷贝System32目录下#xff09; 2、hive运行报错#xff08;The dir: /tmp/hive on HDFS should be writable. #xff09; 项目环境搭建参考资料 前言
博主介绍hadoop.dll拷贝System32目录下 2、hive运行报错The dir: /tmp/hive on HDFS should be writable. 项目环境搭建参考资料 前言
博主介绍✌目前全网粉丝3Wcsdn博客专家、Java领域优质创作者博客之星、阿里云平台优质作者、专注于Java后端技术领域。
涵盖技术内容Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。
博主所有博客文件目录索引博客目录索引(持续更新)
视频平台b站-Coder长路
本期大数据实战项目功能演示及环境搭建教程b站https://www.bilibili.com/video/BV1F6421V7dY 运行前准备工作
1、安装Hadoop3.1.0配置winutils
原因描述 同可见类似博文https://blog.csdn.net/lvoelife/article/details/133349627 若是不安装对应hadoop的winutils会出现报错not found在初始化的时候。 配置方式
①解压3.1.0的haodoop压缩包
将本期虚拟机安装Hadoop压缩包解压 ②配置指定Hadoop版本的winutils工具
接着去github下载相应你对应Hadoop的版本https://github.com/cdarlint/winutils 我给到的软件包已经把winutils下载下来了解压就在里面 操作内容打开winutils文件把指定hadoop3.1.0里面的bin文件复制到hadoop的安装路径替换掉原来的bin文件。
替换原本hadoop3.1.0的bin目录目前我修改了路径hadoop3的目录,替换即可 ③配置Hadoop的环境变量 HADOOP_HOME
D:\softwares\Java\server\hadoop\hadoop-3.1.0配置完成之后window环境web项目上传文件的时候会取到这个环境变量来定位bin目录去执行winutils。 注意点hadoop.dll拷贝System32目录下
注意将替换后的hadoop-3.1.0中的bin文件夹下的hadoop.dll拷贝到C:\Windows\System32目录下。 2、hive运行报错The dir: /tmp/hive on HDFS should be writable.
出现问题
IDEA连接不上hive。当前服务器运行hive出现下面报错。 解决方案
hadoop fs -chmod -R 777 /tmp项目环境搭建
准备内容tomcat8.5.72、JDK
项目导入见B站第一集 导入之后先将运行前准备工作做好接着往下
1、首先将虚拟机上的所有服务启动好。
2、将IDEA中小麦种子的IP地址全部替换为虚拟机的IP地址接着即可将web服务启动进行功能实操。
整个实操见第二个文档02、大数据实训项目(小麦种子)功能演示。 参考资料
[1]. Eclipse配置本地Hadoop开发环境 解决Hadoop问题—HADOOP_https://download.csdn.net/blog/column/9816387/105248496
