简单写文章的网站,惠州 网站建设公司,微信小程序源码免费下载,邯郸做网站最好的公司几行命令教你私有化部署自己的AI大模型#xff0c;每个人都可以有自己的GTP 第一步#xff1a;安装Docker(如果已经有了可以直接跳第二步)
####下载安装Docker
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo##… 几行命令教你私有化部署自己的AI大模型每个人都可以有自己的GTP 第一步安装Docker(如果已经有了可以直接跳第二步)
####下载安装Docker
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo##更新yum软件包索引
yum makecache fast## 安装docker ce cli
yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7##启动Docker并验证
systemctl enable docker systemctl start docker
docker version第二步使用Docker部署Ollama (ollama run gemma)安装谷歌gemma大模型 (ollama run llama2)安装Meta llama2大模型 (ollama run qwen)安装阿里的qwen大模型 ###docker下载ollama部署
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama###开始下载gemma大模型
docker exec -it ollama ollama run gemma “你好”
第三步使用Docker部署webUI页面 将${inner_ip}替换成你本机IP用hostname -I可查看
docker run -d -p 3000:8080 -e OLLAMA_BASE_URLhttp://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
第四步正在启动WEBUI界面大约5分钟后
部署完毕请访问http://IP:3000
正常就可以打开访问属于你自己的大模型了。
可以通过下面的命令查看日志
docker logs -f open-webui
