有什么可以接单做设计的网站,制作网页游戏过程,旅游网站建设报价方案,网站开发微信支付接入最近在做一些数据标注的工作#xff0c;虽然标注数据比较枯燥#xff0c;但这也是每个做算法的工程师升级打怪的必由之路。使用一些合适的工具往往可以事半功倍#xff0c;效率UP。一#xff1a;数据标注流程二#xff1a;数据处理的一些小代码1#xff1a;重命名当得到这…最近在做一些数据标注的工作虽然标注数据比较枯燥但这也是每个做算法的工程师升级打怪的必由之路。使用一些合适的工具往往可以事半功倍效率UP。一数据标注流程二数据处理的一些小代码1重命名当得到这样格式命名不一致的数据的时候重命名是最好的方法。代码#codingUTF-8重命名工具import osimport sysdef rename():pathinput(r请输入路径(例如D:\picture))nameinput(请输入开头名:)startNumberinput(请输入开始数:)fileTypeinput(请输入后缀名(如 .jpg、.txt等等):)print(正在生成以namestartNumberfileType迭代的文件名)count0filelistos.listdir(path)for files in filelist:Olddiros.path.join(path,files)if os.path.isdir(Olddir):continueNewdiros.path.join(path,namestr(countint(startNumber))fileType)os.rename(Olddir,Newdir)count1print(一共修改了str(count)个文件)if __name__ __main__:rename()重命名后的文件会覆盖之前的文件记得操作之前备份原始数据(如有需要的话)2数据标注工具对于VOC数据集使用labelimgs很方便安装过程也很简单开源地址如下https://github.com/tzutalin/labelImg如上图所示框选完口罩后点击OK会生成一个跟你文件名一致的XML文件XML中包括有文件路径文件名称以及你给的标签等等信息如下图3划分数据集因为要符合VOC数据集格式这里简单说一下VOC数据集格式类型。做深度学习目标检测方面的同学怎么都会接触到PASCAL VOC这个数据集。也许很少用到整个数据集但是一般都会按照它的格式准备自己的数据集。所以这里就来记录一下PASCAL VOC的格式包括目录构成以及各个文件夹的内容格式方便以后自己按照VOC的标准格式制作自己的数据集。但是我们一般情况下自己制作数据集不需要Segment开头的着重关注这三个文件夹Annotation文件夹存放的是xml文件该文件是对图片的解释每张图片都对于一个同名的xml文件。ImageSets文件夹存放的是txt文件这些txt将数据集的图片分成了各种集合。JPEGImages文件夹存放的是数据集的原图片转换代码import osimport randomxmlfilepath rD:/object_find/voc_title/VOCdevkit/VOC2007/AnnotationssaveBasePath rD:/object_find/voc_title/VOCdevkit/VOC2007/ImageSets/Main/#训练集和验证集所占的比例trainval_percent 0.8train_percent 0.8temp_xml os.listdir(xmlfilepath)total_xml []for xml in temp_xml:if xml.endswith(.xml):total_xml.append(xml)num len(total_xml)list range(num)tv int(num * trainval_percent)tr int(tv * train_percent)trainval random.sample(list, tv)train random.sample(trainval, tr)print(train and val size, tv)print(traub suze, tr)#trainval,训练集测试集文件名train训练集test,测试集val验证集的文件名ftrainval open(os.path.join(saveBasePath, trainval.txt), w)ftest open(os.path.join(saveBasePath, test.txt), w)ftrain open(os.path.join(saveBasePath, train.txt), w)fval open(os.path.join(saveBasePath, val.txt), w)for i in list:name total_xml[i][:-4] \nif i in trainval:ftrainval.write(name)if i in train:ftrain.write(name)else:fval.write(name)else:ftest.write(name)ftrainval.close()ftrain.close()fval.close()ftest.close()运行结果4:XML转TXT这里要用到XML工具包来匹配一下代码import xml.etree.ElementTree as ETfrom os import getcwdsets[(2007, train), (2007, val), (2007, test)]classes [nomask,rightmask,wrongmask]def convert_annotation(year, image_id, list_file):in_file open(D:/object_find/voc_title/VOCdevkit/VOC%s/Annotations/%s.xml%(year, image_id))treeET.parse(in_file)root tree.getroot()for obj in root.iter(object):difficult obj.find(difficult).textcls obj.find(name).textif cls not in classes or int(difficult)1:continuecls_id classes.index(cls)xmlbox obj.find(bndbox)b (int(xmlbox.find(xmin).text), int(xmlbox.find(ymin).text), int(xmlbox.find(xmax).text), int(xmlbox.find(ymax).text))list_file.write( ,.join([str(a) for a in b]) , str(cls_id))wd getcwd()for year, image_set in sets:image_ids open(VOCdevkit/VOC%s/ImageSets/Main/%s.txt%(year, image_set)).read().strip().split()list_file open(%s_%s.txt%(year, image_set), w)for image_id in image_ids:list_file.write(%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg%(wd, year, image_id))convert_annotation(year, image_id, list_file)list_file.write(\n)list_file.close()生成结果生成txt文件包括图片位置信息目标位置类别
