个人网站设计分类,wordpress图像描述,公司建设网站制作,公司做网站买服务器多少钱本文记录#xff1a;使用Paddle框架训练TSM#xff08;Temporal Shift Module#xff09;
前提条件#xff1a;已经安装Paddle和PadleVideo#xff0c;具体可参考前一篇文章。 1-数据准备#xff1a;
以UCF101为例#xff1a;内含13320 个短视频#xff0c;视频类别使用Paddle框架训练TSMTemporal Shift Module
前提条件已经安装Paddle和PadleVideo具体可参考前一篇文章。 1-数据准备
以UCF101为例内含13320 个短视频视频类别101 种 1. 主要包括5类动作 人和物体交互只有肢体动作人与人交互玩音乐器材各类运动
2. 每类视频被分为25组每组包含4-7个视频同组视频具有一些相似的特征比如背景、人物等
3. 视频来自YouTube25FPS码率320x240分辨率avi格式DivX编码方式平均时长7.21秒
4. 视频按照 v_X_gY_cZ.avi的格式命名其中X表示类别、Y表示组、Z表示视频编号例如v_ApplyEyeMakeup_g03 c04.avi表示ApplyEyeMakeup类别下第03组的第04个视频 标签下载、数据下载
# 切换到ucf101目录
cd PaddleVideo/data/ucf101# 下载annotations文件
sh download_annotations.sh# 下载UCF101的视频文件,视频会自动解压移动到videos文件夹
sh download_videos.sh 视频抽帧自动存储到rawframes文件夹
# 提取视频文件的frames
python extract_rawframes.py ./videos/ ./rawframes/ --level 2 --ext avi
生成list文件
# 生成视频文件的路径list
python build_ucf101_file_list.py videos/ --level 2 --format videos --out_list_path ./# 生成frames文件的路径list
python build_ucf101_file_list.py rawframes/ --level 2 --format rawframes --out_list_path ./
参数说明
videos/ 或者 rawframes/ 表示视频或者frames文件的存储路径--level 2 表示文件的存储结构--format 表示是针对视频还是frames生成路径list--out_list_path 表示生成的路径list文件存储位置
合并list文件
cat ucf101_train_split_*_rawframes.txt ucf101_train.txt
cat ucf101_val_split_*_rawframes.txt ucf101_val.txt
最终文件目录结构
├── data
| ├── dataset
| │ ├── ucf101
| │ │ ├── ucf101_{train,val}.txt
| │ │ ├── ucf101_{train,val}_split_{1,2,3}_rawframes.txt
| │ │ ├── ucf101_{train,val}_split_{1,2,3}_videos.txt
| │ │ ├── annotations
| │ │ ├── videos
| │ │ │ ├── ApplyEyeMakeup
| │ │ │ │ ├── v_ApplyEyeMakeup_g01_c01.avi
| │ │ │ │ └── ...
| │ │ │ ├── YoYo
| │ │ │ │ ├── v_YoYo_g25_c05.avi
| │ │ │ │ └── ...
| │ │ │ └── ...
| │ │ ├── rawframes
| │ │ │ ├── ApplyEyeMakeup
| │ │ │ │ ├── v_ApplyEyeMakeup_g01_c01
| │ │ │ │ │ ├── img_00001.jpg
| │ │ │ │ │ ├── img_00002.jpg
| │ │ │ │ │ ├── ...
| │ │ │ │ │ ├── flow_x_00001.jpg
| │ │ │ │ │ ├── flow_x_00002.jpg
| │ │ │ │ │ ├── ...
| │ │ │ │ │ ├── flow_y_00001.jpg
| │ │ │ │ │ ├── flow_y_00002.jpg
| │ │ │ ├── ...
| │ │ │ ├── YoYo
| │ │ │ │ ├── v_YoYo_g01_c01
| │ │ │ │ ├── ...
| │ │ │ │ ├── v_YoYo_g25_c052-模型训练
PaddleVideo/docs/zh-CN/benchmark.md at develop · PaddlePaddle/PaddleVideo · GitHub
根据benchmark性能指标选择所需模型初步看8帧配置下PP-TSMv2性价比不错 预训练模型下载
根据上面的选型到 paddlevideo/modeling/backbones 目录下打开自己选择的模型
文件中 MODEL_URLS 就是预训练模型的下载路径手动下载 放到 PaddleVideo/data 目录 修改训练配置文件
进入PaddleVideo/configs/recognition/pptsm/v2 目录
因为我们使用的是ucf101数据集训练所以复制 pptsm_lcnet_k400_8frames_uniform.yaml 一份并重命名为pptsm_lcnet_ucf101_8frames_uniform.yaml 来进行修改 修改pretrained、num_seg、class_num、data_prefix、file_path 开启训练
单卡训练
# 单卡训练
export CUDA_VISIBLE_DEVICES0 #指定使用的GPU显卡id
python main.py --validate -c configs/recognition/pptsm/v2/pptsm_lcnet_ucf101_8frames_uniform.yaml多卡训练
# 多卡训练
export CUDA_VISIBLE_DEVICES0,1,2,3,4,5,6,7
python -B -m paddle.distributed.launch --gpus0,1,2,3,4,5,6,7 --log_dirlog_pptsm main.py --validate -c configs/recognition/pptsm/v2/pptsm_lcnet_ucf101_8frames_uniform.yaml
参数说明
-c 必选参数指定运行的配置文件路径具体配置参数含义参考配置文档
--validate 可选参数指定训练时是否评估
-o: 可选参数指定重写参数例如 -o DATASET.batch_size16 用于重写train时batch size大小
--gpus参数指定使用的GPU显卡id
--log_dir参数指定日志保存目录 多卡训练详细说明可以参考单机多卡训练
输出日志
运行日志并默认保存在./log目录下 3-模型测试可选-因为训练的时候已经测试了没必要再去测试一次
对于视频分类任务模型测试时有两种不同的方式中心采样(Uniform)和密集采样(Dense)。
中心采样速度快适合产业应用但精度稍低。
密集采样精度高但由于测试要对多个clip进行预测比较耗时。
轻量化模型PP-TSMv2统一使用中心采样方式进行评估。PP-TSM则提供两种不同的评估方式。
3.1-中心采样测试
中心采样测试1个视频共采样1个clips。
时序上等分成num_seg段每段中间位置采样1帧
空间上中心位置采样。
也可以使用如下命令对训练好的模型进行测试
python3 main.py --test -c configs/recognition/pptsm/v2/pptsm_lcnet_ucf101_8frames_uniform.yaml -w output/ppTSMv2/ppTSMv2_best.pdparams
3.2-中心采样测试
密集采样测试1个视频共采样10*330个clips。
时序上先等分10个片段每段从起始位置开始以64//num_seg为间隔连续采样num_seg帧
空间上左中中心右中3个位置采样。
python3 main.py --test -c configs/recognition/pptsm/v2/pptsm_lcnet_ucf101_8frames_uniform.yaml -w output/ppTSMv2/ppTSMv2_best.pdparams 4-导出推理模型
# 切换到output目录
cd output# 创建inference目录存储推理模型
mkdir ppTSMv2_inference python tools/export_model.py -c configs/recognition/pptsm/v2/pptsm_lcnet_ucf101_8frames_uniform.yaml \-p output/ppTSMv2/ppTSMv2_best.pdparams \-o output/ppTSMv2_inference
├── output/ppTSMv2_inference
│ ├── ppTSMv2.pdiparams # 模型权重文件
│ ├── ppTSMv2.pdiparams.info # 模型信息文件
│ └── ppTSMv2.pdmodel # 模型结构文件 5-基于python进行模型推理
python tools/predict.py --input_file data/example.avi \--config configs/recognition/pptsm/v2/pptsm_lcnet_ucf101_8frames_uniform.yaml \--model_file output/ppTSMv2_inference/ppTSMv2.pdmodel \--params_file output/ppTSMv2_inference/ppTSMv2.pdiparams \--use_gpuTrue \--use_tensorrtFalse 6-基于onnx进行模型推理
详见下一篇博文。 参考链接
1PP-TSM视频分类模型PaddleVideo/docs/zh-CN/model_zoo/recognition/pp-tsm.md at develop · PaddlePaddle/PaddleVideo · GitHubAwesome video understanding toolkits based on PaddlePaddle. It supports video data annotation tools, lightweight RGB and skeleton based action recognition model, practical applications for video tagging and sport action detection. - PaddleVideo/docs/zh-CN/model_zoo/recognition/pp-tsm.md at develop · PaddlePaddle/PaddleVideohttps://github.com/PaddlePaddle/PaddleVideo/blob/develop/docs/zh-CN/model_zoo/recognition/pp-tsm.md
2 PP-TSMv2PaddleVideo/docs/zh-CN/model_zoo/recognition/pp-tsm_v2.md at develop · PaddlePaddle/PaddleVideo · GitHubAwesome video understanding toolkits based on PaddlePaddle. It supports video data annotation tools, lightweight RGB and skeleton based action recognition model, practical applications for video tagging and sport action detection. - PaddleVideo/docs/zh-CN/model_zoo/recognition/pp-tsm_v2.md at develop · PaddlePaddle/PaddleVideohttps://github.com/PaddlePaddle/PaddleVideo/blob/develop/docs/zh-CN/model_zoo/recognition/pp-tsm_v2.md
3 ucf101数据处理
PaddleVideo/docs/zh-CN/dataset/ucf101.md at develop · PaddlePaddle/PaddleVideo · GitHubAwesome video understanding toolkits based on PaddlePaddle. It supports video data annotation tools, lightweight RGB and skeleton based action recognition model, practical applications for video tagging and sport action detection. - PaddleVideo/docs/zh-CN/dataset/ucf101.md at develop · PaddlePaddle/PaddleVideohttps://github.com/PaddlePaddle/PaddleVideo/blob/develop/docs/zh-CN/dataset/ucf101.md
