网站自适应布局,互联网排名前十的公司,图书馆门户网站建设方案,佛山网站搭建公司哪家好本博客包含推理的准备和部署代码#xff0c;一步步实现部署。
这个运行时生成的一个batch的数据#xff0c;NCHW,就是输入的N#xff0c;单图片推理就是1#xff0c;把里面的数量改成1#xff0c;但是你可以多生成一些bin图片放到校准文件夹中#xff0c;更改输出文件名…
本博客包含推理的准备和部署代码一步步实现部署。
这个运行时生成的一个batch的数据NCHW,就是输入的N单图片推理就是1把里面的数量改成1但是你可以多生成一些bin图片放到校准文件夹中更改输出文件名字就行当然图片也要换换对了这里的bin文件是可以直接进入模型的文件图片经过resize和归一化1查看板卡带宽Ascend-dmi --bw
2查看板卡算力也是Ascend-dmi 后面由参数查看昇腾官网
3下面是部署流程
3.1 转成onnx这个每个框架都有固定API)有时候需要onnx.utils.extract_model这个函数去截取 3.2 AMCT量化 这个安装时的onnxruntime使用cpu的也可以不影响最后结果
参考昇腾社区-官网丨昇腾万里 让智能无所不及
从这里获取样例后更改samples: CANN Samples - Gitee.com
unzip samples-master.zip
cd samples-master/python/level1_single_api/9_amct/amct_onnx/cmd然后进入下面
tree -L
|-- README_CN.md
|-- data # 数据集存放路径
|-- model # ONNX 模型文件所在目录
|-- scripts
| |-- run_calibration.sh # 执行量化封装脚本
| |-- run_convert_qat.sh # QAT模型适配CANN模型命令行脚本
| |-- run_customized_calibration.sh # 用户自定义的训练后量化脚本
|-- src|-- process_data.py # 数据集预处理脚本|-- evaluator.py #系统内置的基于“Evaluator”基类并且包含evaluator评估器的python脚本
python3 ./src/process_data.py这个运行时生成的一个batch的数据NCHW,就是输入的N单图片推理就是1把里面的数量改成1但是你可以多生成一些bin图片放到校准文件夹中更改输出文件名字就行当然图片也要换换对了这里的bin文件是可以直接进入模型的文件图片经过resize和归一化。 第二步利用命令行就按照这个如果要利用脚本就参考上面的昇腾地址后面还是要用脚本实现量化细节
amct_onnx calibration
--model ./model/JINGSHIWU_UFLDv2_M18_RN64_CN128_20230914.onnx #输入的模型onnx
--save_path ./results/linedetvlh #输出的名字地址
--input_shape input:1,3,320,800 #输入的input
--data_dir ./data/calibration #校准数据集也是第一步出来的
--data_typesfloat32 #输入数据的类型 这个不能改变量化的是权重其实已经量化至于是int8还是float那就是后面保存的格式
--batch_num1 #推理阶段的batch 3.3 ATC转换参考昇腾社区-官网丨昇腾万里 让智能无所不及
第一步安装就参考官网来就行不麻烦X86和arm的都行无x86的需要交叉编译环境
第二部安装下面命令进行 atc --modellinedetvlh_deploy_model.onnx#量化后的onnx用deploy这个--framework5 #其实就是onnx框架可选其它根据情况--outputlinedetlhforce16 #输出模型名字--input_formatNCHW # 输入格式--input_shapeinput:1,3,320,800#输入shape这个多输入也可以可看官网--precision_modeforce_fp16#这个比较重要官网的这个讲的很清楚这个的效率会提高但会损失精度默认的化看官网一般都是fp16--soc_versionAscend310 #设备型号
3.5 性能评估工具msame
https://gitee.com/ascend/tools/tree/master/msam
类型一 不加input参数
会构造全为0的假数据送入模型推理
./msame
--model /home/HwHiAiUser/msame/colorization.om
--output /home/HwHiAiUser/msame/out/
--outfmt TXT
--loop 1
4 脚本参考
官网参考昇腾社区-官网丨昇腾万里 让智能无所不及
https://gitee.com/skming7216/Ultra-Fast-Lane-Detection-v2_ATLAS
