wordpress建站服务,智慧团建系统登录网站,com网站注册,wordpress 响应式产品展示站一、 OpenMMLab介绍
OpenMMLab 是一个用于学术研究和工业应用的开源算法体系#xff0c;于2018年年中开始#xff0c;由 MMLab#xff08;香港中文大学多媒体实验室#xff09;和商汤科技联合启动。OpenMMLab 致力于为计算机视觉领域的重要方向创建统一且开源的代码库于2018年年中开始由 MMLab香港中文大学多媒体实验室和商汤科技联合启动。OpenMMLab 致力于为计算机视觉领域的重要方向创建统一且开源的代码库推进可复现算法生态的建立目前为止 OpenMMLab 已经陆续开源30多个视觉算法库实现了300多种算法并包含2000预训练模型涵盖2D/3D目标检测、语义分割、视频理解、姿态分析等多个方向。
OpenMMLab算法库的特点
模块化组合设计。将网络框架分解为不同组件将数据集构建、模型搭建、训练过程设计等过程封装为模块在统一而灵活的架构上用户能够轻松组合调用不同的模块构建自定义计算机视觉网络框架高性能。基于底层库MMCVOpenMMLab中几乎所有基本运算操作都在GPU上运行训练速度快SOTA方法。开源框架中集成计算机视觉各个领域最新的先进算法并且不断更新使用者能够轻松使用新方法并进行改进。OpenMMLab系列项目的核心组件是MMCV它是用于计算机视觉研究的基础Python库支持OpenMMLab旗下其他开源库是上述一系列上层框架的基础支持库提供底层通用组件灵活性强可扩展性好。 图源OpenMMLab 二、 MMDetection介绍与安装
OpenMMLab系列包含针对2D/3D目标检测的MMDetection/MMDetection3D、针对旋转目标检测的MMRotate、针对图像分割的MMSegmentation、针对目标追踪的MMTracking等多种算法库它们均以Pytorch和MMCV为基础实现上层算法。
本系列教程从最具影响力的算法库MMDetection入手,来从零讲解OpenMMLab系列算法库的使用由于MM系列算法库的搭建框架、使用方法基本相同因此读者在掌握MMDetection的基础用法后使用其他类别的算法库也能够快速上手。
MMDetection是一款基于PyTorch的开源目标检测工具箱也是OpenMMLab最知名的开源库包含目标检测、实例分割领域的基础框架数十种sota算法。目前在Github上已经收获21.7k star也是本文重点介绍的视觉库。项目地址](github.com/open-mmlab/…) 图源OpenMMDetection 2.1 MMDetecion安装
在使用之前搭建环境是一切的基础首先使用Anaconda搭建虚拟环境进行mmdetection安装。 下面介绍Linux、Windows下环境搭建、相关库Pytorch、CUDA版本选择CPU、GPU平台安装的步骤如果想在Google Colab下安装或者使用Docker安装可以参考官方的(github.com/open-mmlab/…)。
1从头搭建MMDetection运行环境
1. 创建Anaconda虚拟环境
ini
复制代码
conda create --name openmmlab python3.8 -y # python也可以选择其他版本
conda activate openmmlab2. 安装PyTorch 安装GPU版conda install pytorch torchvision -c pytorch 安装CPU版conda install pytorch torchvision cpuonly -c pytorch 使用conda命令安装时anaconda会根据python版本自动安装对应版本的Pytorch和cudatoolkit等相关依赖项因此不需要用户自己再去网上搜索版本对应关系安装十分简便。
3. 安装MMCV库并编译
sql
复制代码
pip install -U openmim
mim install mmcv-full接着安装mmdetection库
bash
复制代码
git clone https://github.com/open-mmlab/mmdetection.git
cd mmdetection
pip install -v -e . #进行编译
当然如果想直接将mmdet作为第三方库使用可以直接pip安装
pip install mmdet2.2 MMDetecion简单使用
1验证安装
在完成上述环境搭建过程后我们如何确定自己的环境配置是否正确、能否开始运行代码了呢官方给出了测试用的demo代码来确认你的环境是否就绪。 所使用的demo代码指的是mmdetection-master\mmdetection-master\demo\image_demo.py文件它通过调用已有模型、加载已有权重来对图片内容进行目标检测推理下面对其使用方法与内容进行介绍。
1. 下载权重文件 官网上以yolov3为示例使用mim命令下载 mim download mmdet --config yolov3_mobilenetv2_320_300e_coco --dest . 下载完毕后能够在目录下找到yolov3_mobilenetv2_320_300e_coco.py和yolov3_mobilenetv2_320_300e_coco_20210719_215349-d18dff72.pth这两个文件前者是yolov3的配置文件包括四个基本组件datasets、models、schedules和runtime这些在后续会详细介绍后者就是已经训练好的权重。
2. demo验证 使用Anaconda激活刚刚创建的虚拟环境进入项目路径下执行运行命令:
bash
复制代码
python demo/image_demo.py demo/demo.jpg yolov3_mobilenetv2_320_300e_coco.py yolov3_mobilenetv2_320_300e_coco_20210719_215349-d18dff72.pth --device cpu --out-file result.jpg
运行结束后如果在自己的文件夹下多出result.jpg文件并且如下图所示成功检测到输入图片中的物体。说明环境安装配置成功可以放心进行后续使用了。demo.jpg检测效果 2demo解读
好了现在我们成功对一张图片完成了目标检测并且进行可视化但是这只是使用已训练好的权重、加载已有模型的推理过程那么image_demo.py是如何对图片进行推理的呢我们又该如何去构建自己的数据、训练自己的模型并进行推理呢
后一个问题会在之后的章节中从MMDetection训练、测试等过程为大家进行详细介绍下面先对image_demo.py文件的内容进行详细解读 首先是参数定义函数def parse_args():它的内容与注释如下 上面我们可以看到在这个参数定义部分中parser这个对象通过add_argument方法来添加参数而我们执行测试代码的命令中就包含了这些参数的内容输入如待测试的图片路径、下载的模型配置与权重、测试用的设备cpu等等。 其中参数解析class argparse.Namespace的原理通过上面的参数解析函数我们得到了一个返回形参args这个对象是一个argparse.Namespace类的对象这个类的属性便是我们上面定义的config、checkpoint等数据通过访问这些属性便可以得到一个参数值可见这个类起到一个“参数存储器”的作用——参数被解析器parser解析后用一个Namespace参数存储器存储起来。 接着在main函数中
ini
复制代码
#build the model from a config file and a checkpoint file
model init_detector(args.config, args.checkpoint, deviceargs.device)这句代码由它的注释可以得知它通过调用模块化函数init_detector来初始化模型并访问Namespace对象的config等属性获取参数。在读取参数后就是推理过程主要过程如下先通过inference_detector来调用加载的模型对图片进行推理获取预测结果result然后通过函数show_result_pyplot在输入图像上绘制预测的结果预测框、类别与置信度。 main函数完整内容
我们可以通过手动为参数赋值并设置断点来查看main函数中涉及到的**关键变量args、model与result**的内容
1. args args的内容如上图可以看到这里面就是我们传入的图片路径、模型文件、权重文件等参数args本质上是一个参数储存器为字典形式。
2. model model的内容如上图可以看到它以字典的形式储存了数据集格式CLASSES80类表示COCO数据集的类别、YOLOV3模型的网络结构backbone、bbox_head等组件后续文章会详细解读、以及测试方法test_cfg其中包含了模型推理时的相关配置。另外需要注意的是train_cfg的值为None,这是因为该模型仅在推理过程使用。
3. result result的内容如上图可以发现它是一个长度为80的列表list80这个数字大家是不是很眼熟这正是其对应的数据集COCO下的类别也就是说推理得到的类别数量和训练是一样的。这个list中的每个元素都对应一个类别的预测内容长度为(n,5)n为预测到的某一类别物体的数量而5表示水平预测框的4个定位参数(xmin,ymin,xmax,ymax)1个预测置信度我们查看result[1]{ndarray:(2,5)}为例 如上预测到2个对象数组给出它们的位置和预测置信度可以发现这一类别的两个预测对象置信度较低所以会被后处理过滤掉。
至此MMDetection的安装、测试以及demo运行部分便完成了下一篇文章将结合代码为大家先从OpenMMLab系列的底层模块MMCV讲起解析它的核心组件和框架原理。
