工行网站如何做理财风险评估,微信文件传输助手网页版,高端品牌网站设计欣赏,哪个网站可以免费设计房子1.场景分析
先有需求需要查询hive数仓数据并将结果保存到本地#xff0c;但是在操作过程中总会有日志信息和表头信息一起保存到本地#xff0c;不符合业务需要#xff0c;那如何才能解决该问题呢#xff1f; 废话不多少#xff0c;直接上代码介绍#xff1a;
2.问题解决…
1.场景分析
先有需求需要查询hive数仓数据并将结果保存到本地但是在操作过程中总会有日志信息和表头信息一起保存到本地不符合业务需要那如何才能解决该问题呢 废话不多少直接上代码介绍
2.问题解决
2.1 提高hive日志级别
#1、进入hive安装路径的conf目录下;
#2、创建log4j.properties
#3、把以下内容写入到log4j.properties并保存退出
# 以下是把日志等级设置为WARN; 还可以设置INFO,DEBUG,可以按自己的要求进行相关的设置
log4j.rootLoggerWARN,CA
log4j.appender.CAorg.apache.log4j.ConsoleAppender
log4j.appender.CA.layoutorg.apache.log4j.PatternLayout
log4j.appender.CA.layout.ConversionPattern%-4r [%t] %-5p %c %x - %m%n2.2 hive命令行设置不打印表头以及WARN日志处理
#!/bin/bash
sql
#设置不打印表头
set hive.cli.print.headerfalse;
show tables;#hive 命令行 -S配置时静默输出的意思实测没啥用还是需要单独处理
hive -S -e $qsql test.txt
#去除warn信息
#将输出的文件test.txt带有org.apache.hadoop.hive关键字的行全部删除此处可根据自己的信息自行配置
sed -i /org.apache.hadoop.hive/d test.txt
