网站推广公司哪家好,静态网页模板免费下载网站,什么是wap网站,.net手机网站源码下载提示#xff1a;文章写完后#xff0c;目录可以自动生成#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、ChatGLM3-6B部署搭建环境部署GLM3 二、Chatglm2-6blangchain部署三、Tips四、总结 前言
提示#xff1a;这里可以添加本文要记录的大概内容#xff1a; … 提示文章写完后目录可以自动生成如何生成可参考右边的帮助文档 文章目录 前言一、ChatGLM3-6B部署搭建环境部署GLM3 二、Chatglm2-6blangchain部署三、Tips四、总结 前言
提示这里可以添加本文要记录的大概内容
看了几天chatglm和langchain的部署经过不断报错终于试出了可以运行的方案不过本地知识库搭建还有问题要再看看。本文主要介绍ChatGLM3-6B的部署和实现效果和Chatglm2-6blangchain结合的实现效果。 提示以下是本篇文章正文内容下面案例可供参考
一、ChatGLM3-6B部署
搭建环境
用阿里云免费资源进行创建实例详情可参考 点击试用OSS那里要勾上看别人都勾了不过我没勾不知道会不会有什么问题然后授权就行了。
创建完后进入控制台点击【交互式建模DSW】进行创建实例只能选择可抵扣计算时的V100或者A10只有这两个规格的GPU是免费试用的页面没有的话可以过段时间再进去可能就有了不过用哪个都行不过A10没那么耗资源。 因为我们的是资源包所以可以创建n个实例我创建了一个V100的实例配置如下
官方镜像pytorch2.0.1tensorflow2.13.0-cpu-py38-ubunt最新的
部署GLM3
1、点击创建的实例进入terminal输入
apt-get update
apt-get install git-lfs
git init
git lfs install 2、首先git clone下载GLM3仓库并切换到这个文件夹下
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM33、然后使用 pip 安装依赖
最新版本中建议在WEBIDE双击打开requirements.txt然后把其中的“gradio~3.39”修改成“gradio3.39”
4、加好保存后运行下面脚本
pip install -r requirements.txt5、git 下载本地模型
从modelscope上git下载模型一个速度快而且也不会因为网络问题下载不下来
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git6、修改变量路径并启用 有2个文件需要修改变量路径一个是basic_demo下的“web_demo.py”另一个是chatgm3-6b下的“config.json”都是把默认的“THUDM/”修改为“/mnt/workspace/ChatGLM3/”就是修改为chatglm3-6b所在的本地目录 这里的修改可以使用vim也可以在WEBIDE中直接左边栏双击打开文件修改推荐
7、运行下列代码启动web_demo.py
python /mnt/workspace/ChatGLM3/basic_demo/web_demo.py点击第二个url跳转后就可以进行对话了。如下图所示
二、Chatglm2-6blangchain部署
借鉴网页1
借鉴网页2
先创建实例A10镜像在官方镜像里面选pytorch-develop:1.12-cpu-py39-ubuntu20.04
之前用镜像url输入地区url和选了官方镜像里面的*modelscope:*相关的镜像都因为版本之类的原因报错了。 更新一下
apt-get update
apt-get install git-lfs
git init
git lfs install 接着下载好相关的模型和源码
目录结构参考 在/mnt/workspace目录下安装
git clone https://github.com/THUDM/ChatGLM2-6B.git
git clone https://www.modelscope.cn/ZhipuAI/chatglm2-6b.git
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
cd langchain-ChatGLM
git clone https://www.modelscope.cn/thomas/text2vec-base-chinese.git该网站有许多模型可以下载因为现在好像没办法在huggle.co下载模型了国内推荐在modelscope里面下载。
分别在/ChatGLM2-6B 和/langchain-ChatGLM目录下执行pip install –r requirements.txt
安装依赖。
修改模型对应路径
1.chatglm2-6b:
chatglm2-6b模型在目录的config.json文件中修改_name_or_path 2.ChatGLM2-6B:
在web_demo.py和web_demo2.py中都把tokenizer和model的路径修改为本地chatlm2-6b的路径 3.langchain-ChatGLM:
修改configs目录下的文件后面的.example都去掉 修改model_config.py
# 01.仅指定 chatglm2-6b
LLM_MODELS [chatglm2-6b, ]# 02.指定为 空
ONLINE_LLM_MODEL { }# 03.仅指定 text2vec-base-chinese chatglm2-6b
MODEL_PATH {
embed_model: {# 仅指定 这一个text2vec-base-chinese: /mnt/workspace/langchain-ChatGLM/text2vec-base-chinese,},llm_model: {# 仅指定 这一个chatglm2-6b: /mnt/workspace/chatglm2-6b,},
}# 04.仅指定 chatglm2
SUPPORT_AGENT_MODEL [chatglm2,
]修改server_config.py
FSCHAT_MODEL_WORKERS {# 所有模型共用的默认配置可在模型专项配置中进行覆盖。default: {host: DEFAULT_BIND_HOST,port: 20002,device: LLM_DEVICE,infer_turbo: False,}
}创建知识库 python init_database.py --recreate-vs
执行私有库模型
python startup.py -a
点击执行后的网址就出来了 使用的时候内存消耗比较大 三、Tips
1、该网站有许多模型可以下载因为现在好像没办法在huggle.co下载模型了国内推荐在modelscope里面下载。
2、当我们国内的网打不开一些模型网站时可以先用魔法download下来到本地然后上传到gitee再git clone借鉴网站
3、pip install的时候建议后面加清华源一个是速度快还有一个是能避免一些错误虽然不知道为什么
pip install 安装包名字 -i https://pypi.tuna.tsinghua.edu.cn/simple/ --trusted-host pypi.tuna.tsinghua.edu.cn //清华大学
pip install 安装包名字 -i http://[pypi](https://so.csdn.net/so/search?qpypispm1001.2101.3001.7020).doubanio.com/simple/ --trusted-host pypi.doubanio.com //豆瓣镜像网站
四、总结
不管怎么样首先还是要自己去多实践实践出真知我也创建了好几个实例用了不同环境修改方法才慢慢摸索出来而且试多了也大概知道一些错误怎么修改还有修改原因之类的所以越到后面越熟练了我做这个部署也有几天了每天看不同的网页阿里云、本地都有尝试本地可能是电脑太垃了搞不起来毕竟莫得独显成功的时候还是比较欣慰的所以大家一定要坚持很多东西尤其是没试过的东西很难一蹴而就往往需要我们不断尝试累积经验。
之后去再看看本地知识库搭建然后了解transformer相关内容。
