17网站一起做网店广州国大,陕西网站建设网络公司,站长工具seo,植物染企业解决方案本地安装了IDEA#xff0c;并配置好了相关POM#xff0c;可以在本机使用sparkSession连接数据#xff0c;并在数据库执行sql#xff0c;在idea展示执行结果。
但是#xff0c;如果将数据的查询结果建立到spark中#xff0c;再展示#xff0c;就会报错
Error while run…本地安装了IDEA并配置好了相关POM可以在本机使用sparkSession连接数据并在数据库执行sql在idea展示执行结果。
但是如果将数据的查询结果建立到spark中再展示就会报错
Error while running command to get file permissions : java.io.IOException: (null) entry in command string: null ls -F D:\tmp\hive println(sql)//sql s(select * from mtl_system_items_b where rownum 10) bdbConf (dbtable - sql)val df2 spark.read.format(jdbc).options(dbConf).load()df2.showdf2.createOrReplaceTempView(boms)print(show results)spark.sql(select * from boms).show()在df2.show的时候是可以正常展示数据的
但是使用createOrReplaceTempView后使用spark.sql().show()展示数据就会报错。
原因
经过网上各种查询有个靠谱的解释是本机没有配置hadoop导致idea在执行的时候报错
解决方法 1.找同事要了hadoop文件也可以在网上下载 2.将hadoop文件解压缩放到一个位置哪里都好我是放到了idea的文件夹下 3. 修改环境变量建立HADOOP_HOME,并且在path配置文件下吧HADOOP_HOME文件加进去 4. 修改hadoop下的jdk文件路径修改的时候注意跟进参考文档中修改否则执行会报错 5. 重启电脑必须重启电脑 6. 在idea执行程序还是会报错但是错误变了网上的解释是缺少文件winutils.exe,从以下地址下载下载完成后放到hadoop/bin下面
https://raw.githubusercontent.com/steveloughran/winutils/master/hadoop-2.6.0/bin/winutils.exe 7. 重启idea执行代码还是报错有点头晕一狠心把D:tmp文件夹给删掉了在执行idea的程序正常输出了 具体操作参考
hadoop-2.7.3 在windows环境下安装无需Cygwin-CSDN博客
winutils.exe的参考文档
spark代码连接hive_本地spark连接hive相关问题总结-CSDN博客
