制作网站需要多少钱,郑州百姓网免费发布信息,莱芜新闻主持人名单,终端客户管理系统ChatGLM模型介绍#xff1a;
ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型#xff0c;它具备了强大的问答和对话功能。拥有最大32K上下文#xff0c;并且在授权后可免费商用#xff01;
ChatGLM2-6B的6B代表了训练参数量为60亿#xff0c;同时运用了模型…ChatGLM模型介绍
ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型它具备了强大的问答和对话功能。拥有最大32K上下文并且在授权后可免费商用
ChatGLM2-6B的6B代表了训练参数量为60亿同时运用了模型量化技术意味着用户可以在消费级的显卡上进行本地部署INT4 量化级别下最低只需 6GB 显存
详细介绍官方githttps://github.com/thudm/chatglm2-6b
环境安装
虚拟环境创建
查看地虚拟环境
conda env list创建虚拟环境
conda create -n ChatGLM2-6B激活虚拟环境
conda activate ChatGLM2-6B下载本仓库
git clone https://github.com/THUDM/ChatGLM2-6B# 进入目录
cd ChatGLM2-6B安装依赖
pip install -r requirements.txt下载模型
从 Hugging Face Hub 下载模型需要先安装Git LF
安装Git LF
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
# 验证安装成功
git lfs install# 如果出现 Git LFS initialized. 则说明成功git clone https://huggingface.co/THUDM/chatglm2-6b 模型下载失败### 国内镜像地址git clone https://hf-mirror.com/THUDM/chatglm2-6b 下载模型时间较长如下载失败可尝试手动下载模型
### 手动下载模型
AI快站
https://aifasthub.com/models/THUDM
手动下载以下模模文件 wgethttps://aifasthub.com/models/THUDM/chatglm2-6b/pytorch_model-00001-of-00007.bin启动模型
网页版 Demo
python web_demo.py
