网站开发的条件,广州越秀区是不是中风险地区,国外个人网站模板,哪个网站可以做视频播放器一、LangChain 1.作用#xff1a;用于提升大型语言模型#xff08;LLMs#xff09;功能的框架#xff0c;能够让大型语言模型结合外部的计算和数据源#xff0c;并根据信息执行指定操作。 结合LLM大模型外部数据等#xff0c;外部工具及数据等实现特定文档问答、聊天机器…一、LangChain 1.作用用于提升大型语言模型LLMs功能的框架能够让大型语言模型结合外部的计算和数据源并根据信息执行指定操作。 结合LLM大模型外部数据等外部工具及数据等实现特定文档问答、聊天机器人、代理执行任务以及文本摘要。 2.核心组件: Prompts(提示): 管理LLM输入工具 Compents组件为LLMs提供接口封装、模板提示和信息检索索引 Chains链能将LLM与其他组件如外部API、数据库等连接起来组合起来解决复杂任务流程如在大量文本中查找信息 Agents代理使用LLM决策的工具执行特定任务并生成文本输出通常由动作、观察和决策三部分组成。 Memory记忆用来存储先前输入、输出或其他信息保存记忆多次调用上下文或历史数据。 3.执行流程 用户问题-语言模型生成向量-向量数据库搜索相似-语言模型-根据结果执行操作 二、ChatGLM 1.GLM框架 整体基于Transformer基础三个微小改动 重新排列了层归一化和残差连接的顺序、针对token的输出预测使用单一线性层、用GeLU替换ReLU激活函数。 2. 应用场景 基于 GLMGenerative Language Model的自然语言处理模型它具备强大的文本生成能力和语义理解能力可以为用户提供高质量的对话体验。
三、安装部署
ChatGLM环境要求 硬件配置: Int4 版本的 ChatGLM3-6B最低配置: 内存 8GB 显存 5GB1060 6GB,2060 6GB FP16 版本的ChatGLM3-6B最低配置: 内存 16GB 显存 13GB4080 16GB 软件环境: python3.10 python 版本推荐3.10.12 transformers 库版本推荐为 4.30.2 torch 推荐使用 2.0 及以上的版本
2.ChatGLM源码安装部署 下载源码
git clone https://github.com/THUDM/ChatGLM3.git下载模型 先安装git lfs命令
git lfs install
git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git安装依赖
cd ChatGLM3
pip install -r requirements.txt安装cuda 参考安装Tesla驱动Linux)_GPU云服务器(EGS)-阿里云帮助中心 运行openai_api_demo目录 1激活环境conda activate xnenv 2进入目录cd /home/chatglm/ChatGLM3/openai_api_demo 3启动应用nohup python api_server.py openai_api_demo.out 主要4个接口 接口1-检查服务健康状态gethttp://127.0.0.1:8000/health 接口2-列出可用模型列表gethttp://127.0.0.1:8000/v1/models/ 接口3-处理聊天完整请求posthttp://127.0.0.1:8000/v1/chat/completions 接口4-处理文本输入列表嵌入请求gethttp://192.168.0.129:8000/v1/chat/embeddings
3.Langchain-Chatchat本地部署 基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现通过RAG提供了本地创建用户知识库的支持使得在大语言模型基础上可以接入用户数据实现基于大语言模型的数据抽取和分析并提供更加灵活友好的人性化交互方式。
安装python3.11: pip install python3.11.7
下载源码git clone https://github.com/chatchat-space/Langchain-Chatchat.git
安装依赖cd Langchain-Chatchatpip install -r requirements.txt pip install -r requirements_api.txtpip install -r requirements_webui.txt
下载模型git lfs install wget https://hf-mirror.com/hfd/hfd.shchmod ax hfd.shexport HF_ENDPOINThttps://hf-mirror.com./hfd.sh THUDM/chatglm3-6b --repo-type dataset生成配置python copy_config_example.py创建向量数据库python init_database.py --recreate-vs修改configs/model_config.py以及configs/server_config.py适配平台环境启动服务: python startup.py -a访问: http://localhost:8501
