小米的网站是哪个公司做的,国外网站建设的步骤,网站数据修改,长沙优化网站问题#xff1a;在使用官网介绍的博客#xff0c;进行安装#xff0c;比较顺利。只不过#xff0c;在需要推理加速时#xff0c;UI界面上#xff0c;给出的选项所支持的FlashAttention-2和Unsloth#xff0c;不好实现。在进行一系列的调整#xff0c;总结如下#xff…问题在使用官网介绍的博客进行安装比较顺利。只不过在需要推理加速时UI界面上给出的选项所支持的FlashAttention-2和Unsloth不好实现。在进行一系列的调整总结如下
想要同时实现FlashAttention-2和Unsloth推理加速的环境安装方式
以Ubuntu22.04 RTX4090 24GB为例
1. 系统配置CUDA版本选择12.2.x因为高版本的flash-attn库不提供12.1版本的安装包
## cuda
export PATH/usr/local/cuda-12.2/bin:$PATH
export LD_LIBRARY_PATH$LD_LIBRARY_PATH:/usr/local/cuda-12.2/lib64
2. 虚拟环境创建python版本选择3.10.x使用官方推荐的安装方式
conda create -n llama_factory python3.10 -y
3. 首先安装LLaMA-Factory官方提供的环境安装内容
pip install -e .[torch,metrics,,bitsandbytes]
备注torch版本为2.3.x后续根据变化调整为对应版本
4. 然后安装flash-attn库版本号含有cu122torch2.3cxx11abiFALSE
pip install flash_attn-2.5.8cu122torch2.3cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
备注安装版本号含TRUE会报错。
5. 最后安装unsloth库根据官方的安装内容仅选取部分即可
pip install unsloth[colab-new] githttps://github.com/unslothai/unsloth.git
……
Installing collected packages: unsloth, protobufAttempting uninstall: protobufFound existing installation: protobuf 5.26.1Uninstalling protobuf-5.26.1:Successfully uninstalled protobuf-5.26.1
Successfully installed protobuf-3.20.3 unsloth-2024.5
备注有colab-new标识的其他标识的安装额外库会报错。其次这一步会将protobuf版本号降低导致FlashAttention-2方式的模型加速报错但是将其版本号恢复为原先版本不会导致Unsloth方式模型加速报错所以重新安装原先版本的protobuf库此处根据实际进行恢复版本号
pip install protobuf5.26.1
6. 至此安装完毕。不过还需要注意在由Unsloth加速方式切换到其他方式的时候会导致其他加速方式的模型加载失败重启UI服务即可。
