湖北建设厅网站查询,网站建设套模板,wordpress上传图片不清楚,无锡网络公司可以制作网站官方教程#xff0c;github和huggingface都需要梯子#xff1a;
开发环境部署 chatchat-space/Langchain-Chatchat Wiki (github.com)
具体参考官方的#xff0c;这里额外记录一下官方文档里面没有写的。 安装前#xff0c;确保openSSL版本是新的
查看当前环境下是否有… 官方教程github和huggingface都需要梯子
开发环境部署 · chatchat-space/Langchain-Chatchat Wiki (github.com)
具体参考官方的这里额外记录一下官方文档里面没有写的。 安装前确保openSSL版本是新的
查看当前环境下是否有sqlie3、libbz2
安装命令sudo apt-get install libsqlite3-dev libbz2-dev 确保python环境是3.11.7目前阶段之后更新可能版本要求更高 用wget形式下载python3.11.7之后编译时命令为 ./configure --enable-loadable-sqlite-extensions --enable-shared LDFLAGS-Wl,-rpath /usr/local/lib 需要把之前的sqlie3、libbz2一起编译进去否则之后会缺少模组 确保cuda版本在12.2命令nvidia-smi
查看pyTorch版本是否和cuda一致根据英伟达网站安装对应pyTorch版本
Previous PyTorch Versions | PyTorch 下载huggingface的模型需要梯子太费时间可以去国产gitee上搜索相关模型用国产链接下载
bge-large-zh-v1.5: Mirror of https://huggingface.co/BAAI/bge-large-zh-v1.5 (gitee.com)chatglm3-6b: Mirror of https://huggingface.co/THUDM/chatglm3-6b (gitee.com)bge-large-zh-v1.5: Mirror of https://huggingface.co/BAAI/bge-large-zh-v1.5 (gitee.com)
这俩是Embedding模型和LLM 模型不同功能 用git下载完俩大模型以后会自动创建文件夹然后修改文件
Langchain-Chatchat/configs/model_config.py
修改里面的MODEL_ROOT_PATH的值因为git创建好文件夹正好与文件下面的MODEL_PATH里的默认路径对上所以只改这里就行了 import os # 可以指定一个绝对路径统一存放所有的Embedding和LLM模型。 # 每个模型可以是一个单独的目录也可以是某个目录下的二级子目录。 # 如果模型目录名称和 MODEL_PATH 中的 key 或 value 相同程序会自动检测加载无需修改 MODEL_PATH 中的路径。 MODEL_ROOT_PATH /opt/ ubuntuVM-2-14-ubuntu:~$ ll /opt/ total 51756 drwxr-xr-x 9 root root 4096 Feb 20 15:40 ./ drwxr-xr-x 20 root root 4096 Feb 20 18:15 ../ drwxr-xr-x 4 root root 4096 Feb 20 09:45 bge-large-zh-v1.5/ -rw-r--r-- 1 root root 16171 Feb 20 15:40 bzip2-1.0.6.tar.gz drwxr-xr-x 3 root root 4096 Feb 19 16:17 chatglm3-6b/ 其他细节参考官方文档里的直接启动就行了
