企业网站流程,西安推广网络排行,免费咨询服务合作协议模板,中国政务服务网首先#xff0c;检查一下自己的电脑有没有CUDA环境#xff0c;没有的话#xff0c;去安装一个。我的电脑是4060显卡#xff0c;买回来就自带这些环境了。没有显卡的话#xff0c;也不要紧#xff0c;这个懒人安装包支持CPU运行#xff0c;会自动识别没有GPU#xff0c;…首先检查一下自己的电脑有没有CUDA环境没有的话去安装一个。我的电脑是4060显卡买回来就自带这些环境了。没有显卡的话也不要紧这个懒人安装包支持CPU运行会自动识别没有GPU就会以CPU运行但是非常慢毫无意义。 ------------------------------------------------------懒人一键启动 start-----------------------------------------------------------------------------------------
1、下载一键安装包解压后放到一个不带中文和特殊字符的路径 链接https://pan.baidu.com/s/1ishHMyGpUkVjPVQk1GBGGA 提取码Zh6L 2、直接运行脚本就能启动成功了 3、到这里可以不用往下看了。 但是作为一名java程序员怎能不使用docker部署一个。下面是docker方式部署。 ---------------------------------------------------------懒人一键启动end---------------------------------------------------------------------------------------------------
--------------------------------------------------------docker容器启动 start---------------------------------------------------------------------------------------------------
拉取镜像
拉取一个Nvidia官方docker镜像免去在容器中手动安装cuda、cudnn的烦恼。
docker pull nvcr.io/nvidia/pytorch:23.05-py3
运行容器
docker run --gpus all -itd --name chatglm3 -p 81:80 -p 6006:6006 -p 8888:8888 -p 7860:7860 -p 8501:8501 -p 8000:8000 --shm-size32gb -v D:\temp\GLM3:/data nvcr.io/nvidia/pytorch:23.05-py3
如果没有GPU,就把 --gpus all 参数去掉--shm-size32gb是计算机的内存我的是32G。
D:\temp\ChatGLM3 是挂载目录就是刚刚下载解压的安装包目录改成你自己的目录就行。
进入容器内部
docker exec -it chatglm3 /bin/bash
进入data目录
cd /data
安装依赖
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple
pip config set install.trusted-host mirrors.aliyun.com
pip install -r requirements.txt 进入目录
cd openai_api_demo/ 下载依赖
pip install -r requirements.txt
返回上一层目录进入ChatGLM3目录执行启动脚本
cd ChatGLM3
nohup sh 02startApi.sh 02startApi.sh脚本内容为
#!/bin/bashexport HF_ENDPOINThttps://hf-mirror.com
export HF_HOME../huggingface
export MODEL_PATH../../models/THUDM_chatglm3-6bcd openai_api_demopython openai_api.py 如果运行报错就用idea或者其他工具转换一下格式转成linux格式。鼠标选中文件就有这个选项了 不出意外的话就启动成功了使用postman等接口调用工具就可以调用接口了。
这是我的java调用代码
private static void chatglm3() {MapString, Object params new HashMap();params.put(model, chatglm3-6b);ListMapString, Object messages new ArrayList();MapString, Object prompt new HashMap();prompt.put(role, user);prompt.put(content, 给我讲一个笑话);messages.add(prompt);params.put(messages, messages);params.put(stream, false);params.put(max_tokens, 100);
// params.put(temperature, 0.8);
// params.put(top_p, 0.8);String url http://127.0.0.1:8000/v1/chat/completions;String result post(url, JSONUtil.toJsonStr(params), new HashMap());System.out.println(result);
} ---------------------------------------------------------------docker 容器启动end------------------------------------------------------------------------
接下来记录一下将容器导出成镜像并且把模型文件和代码文件一起打包到镜像中方便以后在别的服务器上一键部署。
导出镜像命令 docker commit [CONTAINER_ID_OR_NAME] [REPOSITORY_NAME]:[TAG] [CONTAINER_ID_OR_NAME]是您的容器ID或名称。 [REPOSITORY_NAME]是您想要给新镜像起的名字。 [TAG]是镜像的标签通常用于区分同一个镜像的不同版本默认为latest。
最终命令是
docker commit chatglm3 chatglm3-cwp:v1.0.1
在懒人安装包解压目录下创建一个Dockerfile文件文件内容为
FROM chatglm3-cwp:v1.0.1MAINTAINER cwpCOPY ChatGLM3 /data
COPY models /dataENV TZAsia/ShanghaiEXPOSE 81
EXPOSE 8000
EXPOSE 7860
EXPOSE 8501
EXPOSE 8888
EXPOSE 6006 构建镜像
docker build -t chatglm3-gpu:1.0 . 将镜像推送到自己的阿里云镜像仓库
阿里云镜像仓库访问地址 https://cr.console.aliyun.com/cn-hangzhou/instances 可以新建一个镜像仓库 跟着操作指南一步步做最后推送到镜像仓库。 以后就可以拉取自己的阿里云镜像运行容器一键启动ChatGLM3。参照下一篇文章轻轻松松搭建自己的GPT了。
docker一键部署GPU版ChatGLM3-CSDN博客
