做外贸soho网站的公司,军队营房基础建设网站,dw做的网站,烟台公司做网站系列文章#xff1a; 0、基本常用功能及其操作#xff08;本文操持更新#xff09;
1#xff0c;20G文件#xff0c;分类#xff0c;放入不同文件#xff0c;每个单独处理
2#xff0c;数据的归类并处理
3#xff0c;txt文件指定的数据处理并可视化作图
4#xf…
系列文章 0、基本常用功能及其操作本文操持更新
120G文件分类放入不同文件每个单独处理
2数据的归类并处理
3txt文件指定的数据处理并可视化作图
4.........待定
一、序言 为了后续的数据处理的实战操作最起码需要掌握的基础技能
二、常用的需求以及操作
1、文件的读取和写入操作
2、指定数据提取操作
3、作图
4、.....等想到后续还会添加
5、..... 三、实现及需要掌握的内容
1、文件的读取和写入操作 1、常用txt文件常用操作 打开并且循环递增往后读取数据以只读的方式打开文件操作这个有集中方式
# 打开文本文件并读取每一行
with open(./log/be_cycling_tBE.txt, r) as file:for line in file: 写出到TXT文件以写的方式打开写入列表。 # 分别保存不同dut数据的txt文件with open(base_addrdut1_data.txt, w) as f:f.writelines(dut1_data) 加一个两个都合起来的写法当识别到指定内容之后写入新的文件夹以便于后续处理同时不同的文件编码格式不一样大家注意 with open(file_path, r, encodingutf-8) as infile, open(dut_out, w, encodingutf-8) as outfile:for line in infile:if selected_text in line:outfile.write(line) 2、存入excel文件
当然如果我们想存入excel文件怎么办呢 提取数据存入列表将列表数据存入工作表工作表在存入excel文件 from openpyxl import Workbook# 创建Excel工作簿wb Workbook()ws wb.active# Excel文件名excel_file_name wafer_XY_output_excelif value_match:value value_match.group(1).strip()row_data.append(value)# 将键和值写入工作表的一行ws.append(row_data)except FileNotFoundError:print(fFile {filename} not found. Skipping.)# 保存Excel文件wb.save(filenameexcel_file_name) 3、CSV文件操作 import csv
# 替换成你的CSV文件路径
csv_file_path ./log/ES51C03AH1C1Y-00-EPE603-#18_CP1.csv
# 初始化一个空集合用于存储不同的元素名称
unique_elements set()
# 打开文件使用 r 模式读取
with open(csv_file_path, r, newline, encodingutf-8) as csvfile:# 创建CSV阅读器reader csv.reader(csvfile)# 遍历CSV文件中的每一行for row in reader:# 检查每行是否有六个或更多的元素if len(row) 6:# 将第六个元素索引为5添加到集合中unique_elements.add(row[5])
2、指定数据提取操作 用正则表达式提取指定的区间的内容一般和文件操作一起。 同时操作16个文件依次提取指定的数据并写入新的文件
def get_tse(base_addr):# 定义正则表达式用于匹配TPP和uS之间的内容tpp_regex1 re.compile(rTSE(.*?)mS)# 循环读取每个dut数据文件提取TPP和uS之间的内容并保存为txt文件for i in range(1, 17):# 构造文件名file_name base_addr fdut{i}.txtout_file_name base_addr ftse{i}.txtif i 16:print(TSE,提取完成)# 打开文件和输出文件with open(file_name, r) as f, open(out_file_name, w) as out_f:for line in f:# 使用正则表达式匹配TPP和uS之间的内容match tpp_regex1.search(line)if match:tpp_value match.group(1)# 将提取的内容写入输出文件out_f.write(f{tpp_value}\n)
识别到的数据的所在行放入一个特定的列表以便于后续的数据处理 # 读取并分组所有行for line in lines:match re.search(rY: (.*?)--S, line)if match:value match.group(1).strip()grouped_lines[value].append(line) 比如这个将不同的X数据放入不同的文件
def X_select(wafer_XY_input_txt,wafer_XY_output_folder):wafer_XY_output_txt wafer_XY_output_folder /xvalue_# 读取原始文本文件with open(wafer_XY_input_txt, r) as file:lines file.readlines()# 提取并存储符合条件的行for line in lines:match re.search(r--X:\s(\d)-, line)if match:x_value int(match.group(1))if 1 x_value 107:file_name wafer_XY_output_txt str(x_value) .txtwith open(file_name, a) as file:file.write(line)
3、作图 当然首先得有数据处理过的数据需要可视化怎么办作图或者写入excel文件作图因为excel毕竟功能强大操作简单。 plt.scatter(range(len(max_values)), max_values, s1, cr, labelMax Values)plt.scatter(range(len(min_values)), min_values, s1, cg, labelMin Values)plt.scatter(range(len(mean_values)), mean_values, s1, cb, labelMean Values)plt.ylim(min(data) - 1, max(data) 1)plt.legend()# plt.yticks(np.arange(0, 800, 50))plt.xlabel(cycle Groups (256 Data Points per Group))plt.ylabel(TPP Values(uS))plt.title(tu_title)plt.savefig(pic_name) # 保存为png图片plt.close() # 关闭当前绘图窗口
同时保存图片文件图片文件也可以递增非常喜欢python的这个特性。
当然python还有很多其他图
