wordpress 插件有后门,徐州网站快速优化排名,个人网站建设yxhuying,金华东阳网站建设 flume在从kafka采集数据后#xff0c;会将数据写入到hdfs文件中。在写入过程中#xff0c;由于集群负载、资源或者网络原因会导致文件没有正常关闭,即文件表现为tmp格式#xff0c;这种格式的文件从hdfs往hive分区load数据时#xff0c;会导致数据无法查询问题。 flume写… flume在从kafka采集数据后会将数据写入到hdfs文件中。在写入过程中由于集群负载、资源或者网络原因会导致文件没有正常关闭,即文件表现为tmp格式这种格式的文件从hdfs往hive分区load数据时会导致数据无法查询问题。 flume写入文件正常关闭的过程会有一个create和close的过程通过如下命令对没有正常关闭的文件进行修复。hdfs debug recoverLease -path 异常文件路径 -retries 10例如:
hdfs debug recoverLease -path /warehouse/tablespace/managed/hive/ods.db/test/2023-11-06/.tempFlumeData.1699239988831.tmp -retries 10文件处理后,再进行load操作load data inpath 路径 into table ods.表名 partition(dt2023-11-06);问题解决。
