成品网站短视频源码搭建,牙科网站建设,电影cms系统,wordpress 另类加速统计HDFS文件数量大小#xff0c;小于20M文件数量 hadoop fs -du -h / # 统计文件大小hadoop fs -count / # 统计文件数量#xff0c;返回的数据是目录个数#xff0c;文件个数#xff0c;文件总计大小#xff0c;输入路径hadoop fs -ls -R /path/data | grep ^- ~/d… 统计HDFS文件数量大小小于20M文件数量 hadoop fs -du -h / # 统计文件大小hadoop fs -count / # 统计文件数量返回的数据是目录个数文件个数文件总计大小输入路径hadoop fs -ls -R /path/data | grep ^- ~/data.txt #统计所有文件的信息过滤文件夹,只统计文件.因为使用ls -l 之后,可以看到文件是”-“开头文件夹是”d”开头 再写个小python import pandas as pd
path/Desktop/data.txt
dfpd.read_table(path,delim_whitespaceTrue,names[1,2,3,4,5,6,7,8]) # 统计数据一共8列
print(len(df))
df1df[df[5]20971520] # 第五列是大小,取小于20M(换算成b)的文件数据
print(len(df1)) # 统计数量
