单品商城网站源码,wordpress主题 d8 4.1,佛山微网站推广哪家专业,昆明seo建站通过onnx模型可以在支持onnx推理的推理引擎上进行推理#xff0c;从而可以将LLM部署在更加广泛的平台上面。此外还可以具有避免pytorch依赖#xff0c;获得更好的性能等优势。
这篇博客#xff08;大模型LLaMa及周边项目#xff08;二#xff09; - 知乎#xff09;进行…通过onnx模型可以在支持onnx推理的推理引擎上进行推理从而可以将LLM部署在更加广泛的平台上面。此外还可以具有避免pytorch依赖获得更好的性能等优势。
这篇博客大模型LLaMa及周边项目二 - 知乎进行了llama导出onnx的开创性的工作但是依赖于侵入式修改transformers库比较不方便。
这里本人实现了避免侵入式修改transformers库导出LLM为ONNX方法代码库为:
https://github.com/luchangli03/export_llama_as_onnx/tree/main
可以在这个基础上进行简单修改从而导出其他模型例如百川Qwen等模型。当前已经加入了对Qwen的导出支持。
该方案优点是无需侵入式修改transformers代码缺点是你需要提前了解各个模型的输入相关shape和dtype。
导出的llama decoder会存在if算子但是经过符号shape推导和设置相应的符号shape到onnx模型value_info然后经过onnxsim可以完全去掉。也可以考虑修改llama定义代码去掉if。优化前后
