外部链接对网站的影响,临沂做商城网站建设,做物流的网站有哪些功能,网站建设新闻前言
本篇文章教你如何搭建本地的私有大语言模型，和向量画数据库，实现一个本地的私有AI知识问答客服系统。需要用到的技术是开源项目由docker,fastgpt、one-api，开源LLM大模型，vllm或者ollama。 docker 是一款开源的应用容器引擎,用来快速构建服务。fastgpt 基于LLM大模型…前言
本篇文章教你如何搭建本地的私有大语言模型，和向量画数据库，实现一个本地的私有AI知识问答客服系统。需要用到的技术是开源项目由docker,fastgpt、one-api，开源LLM大模型，vllm或者ollama。
docker 是一款开源的应用容器引擎,用来快速构建服务。fastgpt 基于LLM大模型的AI知识库构建平台。one-api 是一个 OpenAI 接口管理 分发系统，可以通过标准的 OpenAI API 格式访问所有的大模型，开箱即用。LLM大模型 （Large Language Model，简称LLM）是一种先进的人工智能技术，主要用于理解和生成人类语言。Ollama 是一个开源的轻量级框架及命令行工具，设计用于本地部署和运行大型语言模型（LLMs）。vLLM 大模型推理加速工具。开启部署前，一张N卡，30系列或者40系列，或者A系列的都行，显存至少4G，内存至少8G，CPU四核即可。这样才能跑得动一个比较小的开源LLM模型。
Docker
首先现在linux系统上安装docker,方便后面快速安装和管理其他服务。 在 CentOS 系统上安装 Docker 的最新稳定版，可以按照以下步骤操作（截至2024年3月14日的信息）：
第一步：准备工作
确保系统是最新的：
sudo
