做文库类网站,做油漆的网站,河南省建设厅历任厅长,在线公司取名准备工作
1.下载源代码#xff1a; https://github.com/THUDM/ChatGLM3
2.下载预训练模型#xff1a; https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files 可以创建一个py文件#xff0c;直接使用如下代码下载到本地#xff1a;
from modelscope.hub.snapshot_dow…准备工作
1.下载源代码 https://github.com/THUDM/ChatGLM3
2.下载预训练模型 https://modelscope.cn/models/ZhipuAI/chatglm3-6b/files 可以创建一个py文件直接使用如下代码下载到本地
from modelscope.hub.snapshot_download import snapshot_downloadmodel_dir snapshot_download(ZhipuAI/chatglm3-6b, cache_dirF:/pretrained_model/chatglm3-6b/, revisionmaster)注意chatglm3-6B约11G大小
正式部署
1.创建一个虚拟环境可选 conda create -n chatglm3 python3.8 --offline
2.安装requirements pip install -r requirements.txt 3.修改代码
默认调用方式只需将这里替换为预训练模型的保存路径即可CPU调用需要32G内存 GPU调用方式需要13G显存 GPU量化调用方式修改为如下需要5G
4.运行demo cd basic_demo streamlit run web_demo2.py email的地方直接回车后面就会加载模型了。 访问改地址即可进行对话http://localhost:8501/
小结
和chatglm2相比输出的结果似乎没有明显的改变当最大的一个区别在于chatglm2-6B有专门的int4版本而chatglm3-gb取消了这个版本在代码中可以直接指定量化版本。
