北京怎么做网站推广,十大医疗器械公司排名,怎么找国外采购商,咖啡厅网站建设Ollama用于在本地运行和部署大型语言模型#xff08;LLMs#xff09;的工具#xff0c;可以非常方便的部署本地大模型
安装
Linux
curl -fsSL https://ollama.com/install.sh | sh 我是ubuntu系统安装#xff0c;其他系统可以看项目的开源地址有写 GitHub - ollama/oll…Ollama用于在本地运行和部署大型语言模型LLMs的工具可以非常方便的部署本地大模型
安装
Linux
curl -fsSL https://ollama.com/install.sh | sh 我是ubuntu系统安装其他系统可以看项目的开源地址有写 GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models. docker安装
一键脚本
#!/bin/bash
#################################################################################
# 功能自动部署OllamaDocker方式GPU
# 说明如果已安装了Docker请注释掉 install_docker避免重复安装
#################################################################################info(){echo -e \033[34m 【date %Y-%m-%d %H:%M:%S】\033[0m \033[35m$1\033[0m
}install_docker(){
#!/bin/bash
info 安装依赖...
yum -y install gcc
yum -y install gcc-c##验证gcc版本
gcc -vinfo 安装Docker指定版本23.0.6
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
##更新yum软件包索引
yum makecache fast## 安装docker ce cli
# 查看可安装版本yum list docker-ce --showduplicates | sort -r
yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7info 启动Docker并验证
systemctl enable docker systemctl start docker
docker version## 创建加速器
#cd /etc/docker
#if [ ! -f $daemon.json ]; then
# touch $daemon.json
#else
# rm -rf daemon.json
# touch $daemon.json
#fi
#tee /etc/docker/daemon.json -EOF
#{
# registry-mirrors: [https://自己的镜像加速器地址]
#}
#EOF
#systemctl daemon-reload
#systemctl restart dockerinfo Docker23.0.6安装完毕
}# 安装 Ollama
install_Ollama(){info 参考IP地址$(hostname -I)read -p 请问您当前服务器的内网IP地址是: inner_ipinner_ip${inner_ip:-127.0.0.1}curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.reposudo yum install -y nvidia-container-toolkitsudo nvidia-ctk runtime configure --runtimedockersudo systemctl restart dockerdocker run -d --gpusall -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollamainfo ollama部署完毕开始下载qwen:0.5b模型...docker exec -it ollama ollama run qwen:0.5b “你好”info qwen:0.5b模型加载完成开始部署webui界面...docker run -d -p 3000:8080 -e OLLAMA_BASE_URLhttp://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:maineip$(curl ifconfig.me/ip)info 部署完毕正在启动WEBUI界面大约5分钟后请访问http://${eip}:3000
}install_docker
install_Ollama
上面是一键安装脚本
下载模型
ollama run llama3:70b
这个命令的意思是下载一个llama3的70b模型
模型库
Ollama 支持在 ollama.com/library 上获取的模型列表
以下是一些可下载的示例模型
ModelParametersSizeDownloadLlama 38B4.7GBollama run llama3Llama 370B40GBollama run llama3:70bMistral7B4.1GBollama run mistralDolphin Phi2.7B1.6GBollama run dolphin-phiPhi-22.7B1.7GBollama run phiNeural Chat7B4.1GBollama run neural-chatStarling7B4.1GBollama run starling-lmCode Llama7B3.8GBollama run codellamaLlama 2 Uncensored7B3.8GBollama run llama2-uncensoredLlama 2 13B13B7.3GBollama run llama2:13bLlama 2 70B70B39GBollama run llama2:70bOrca Mini3B1.9GBollama run orca-miniLLaVA7B4.5GBollama run llavaGemma2B1.4GBollama run gemma:2bGemma7B4.8GBollama run gemma:7bSolar10.7B6.1GBollama run solar 注意运行 7B 模型至少需要 8 GB 的 RAM运行 13B 模型需要 16 GB运行 33B 模型需要 32 GB。 模型存储位置 了解模型存储位置对于管理和备份模型至关重要。默认情况下模型存储在以下位置 Linux/var/lib/ollama/models WindowsC:\ProgramData\Ollama\models macOS/Library/Application Support/Ollama/models 查看模型
ollama list这个命令可以看已经下载的模型
chenchen:~$ ollama list
NAME ID SIZE MODIFIED
medllama2:latest a53737ec0c72 3.8 GB 24 hours ago
更改模型下载路径
先创建一个用于存放模型目录
sudo mkdir /path/to/ollama/models
修改权限
sudo chown -R root:root /path/to/ollama/modelssudo chmod -R 775 /path/to/ollama/models
添加环境变量
sudo vim /etc/systemd/system/ollama.service
在[Service]下面加入一行新的Environment新一行
EnvironmentOLLAMA_MODELS/path/to/ollama/models 请替换上面的路径为自己服务器内的路径
安装WebUI
我是基于docker部署的比较方便
docker run -d -p 3000:8080 -e OLLAMA_BASE_URLhttp://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main${inner_ip} 请替换为你自己服务器的ip
webui部署完成之后可能出现无法连接到ollama的情况这是因为ollama默认绑定的ip是127.0.0.1
在ollama.service文件的[Service]下面再加入一行新的Environment新一行
EnvironmentOLLAMA_HOST0.0.0.0:11434重启服务即可
