梅州市建设培训中心网站,信用卡申请网站建设,做网站软文怎么弄,江西九江怎么样省流#xff1a;偷懒的可以直接看第二章的GPT4All部署
一. GPT4All README
根据官方网站GPT4All的描述#xff0c;它是一个开源大型语言模型#xff0c;可在CPU和几乎任何GPU上本地运行
github source: https://github.com/nomic-ai/gpt4all
GPT4All Website and Models…省流偷懒的可以直接看第二章的GPT4All部署
一. GPT4All README
根据官方网站GPT4All的描述它是一个开源大型语言模型可在CPU和几乎任何GPU上本地运行
github source: https://github.com/nomic-ai/gpt4all
GPT4All Website and Models: GPT4All
GPT4All Documentation: GPT4All Documentation
Discord: https://discord.com/invite/mGZE39AS3e
Official Langchain Backend: https://python.langchain.com/docs/integrations/llms/gpt4all.html 1GPT4All: 开源边缘大型语言模型生态系统。 Important GPT4All v2.5.0 and newer only supports models in GGUF format (.gguf). Models used with a previous version of GPT4All (.bin extension) will no longer work. 备注1上述意思是说新的版本基于只支持GGUF格式的模型早先使用的版本.bin格式模型的GPT4All无法使用。
备注2GGUF格式的模型在上述GPT4All Website and Models链接下载进入网页往下翻即可找到。 备注3GPT4All 是一个生态系统用于运行功能强大的定制大型语言模型可在消费级 CPU 和任何 GPU 上本地运行。请注意您的 CPU 需要支持 AVX 或 AVX2 指令。
备注4可以在上述GPT4All Documentation链接了解更多信息
GPT4All 模型是一个 3GB - 8GB 的文件您可以下载并将其嵌入 GPT4All 开源生态系统软件。Nomic AI 支持并维护这一软件生态系统以确保质量和安全性同时率先努力让任何个人或企业都能轻松地训练和部署自己的边缘大型语言模型。
2Whats New (Issue Tracker)
备注5Issue Tracker 是一些网络用户关于GPT4All部署的问题图片如下。 更新的信息如下
1.October 19th, 2023: GGUF 支持以下方式启动
Mistral 7b是一个在GPT4All Website and Models上更新的模型图库、包括 Rift Coder v1.5 在内的多个新本地代码模型 Nomic Vulkan 支持 GGUF 中的 Q4_0、Q6 量化。离线构建支持运行旧版本的 GPT4All 本地 LLM 聊天客户端
2.September 18th, 2023:
Nomic Vulkan 发布支持 AMD、英特尔、三星、高通和英伟达 GPU 上的本地 LLM 推理。
3.August 15th, 2023:
启动 GPT4All API允许从 docker 容器推断本地 LLM。
4.July 2023:
稳定支持 LocalDocs这是一个 GPT4All 插件可让您与数据进行本地私聊。
3Chat Client
使用自动更新的桌面聊天客户端在家用桌面上运行任何 GPT4All 模型。请参阅GPT4All Website and Models网址了解您可以使用这款功能强大的桌面应用程序运行的开源模型的完整列表。
下载链接:
macOSWindowsUbuntu
可在GPT4All Website and Models网址上查找最新信息
聊天客户端的构建和运行
按照聊天客户端 build_and_run 页面上的可视化说明进行操作 Bindings Official Python Bindings Official Typescript Bindings Official GoLang Bindings Official C# Bindings Official Java Bindings
Integrations
️ Weaviate Vector Database - module docs 二. GPT4All部署
第一步下载安装包
下载地址GPT4All Website and Models: https://gpt4all.io/index.html 下载后的文件如下 第二步下载模型
下载地址GPT4All Website and Models: https://gpt4all.io/index.html 备注6这个模型页面需要挂梯子才能加载出来
备注7模型中的SIZE是模型大小RAM大小是要求电脑的配置下面是模型功能描述
下面用一个例子做说明本次也是下载这个模型。 模型大小为6.86G要求电脑RAM为16G电脑RAM可以右键点击桌面“ 此电脑 ”图标选择属性 在弹出的窗口中就可以看到已安装RAM 大小。 模型描述为 Extremely good model--极好的模型 Instruction based--基于指令 Gives long responses--提供较长的回复 Curated with 300,000 uncensored instructions--包含 300,000 条未经审查的指令 Trained by Nous Research--由 Nous Research 训练 Cannot be used commercially--不能用于商业用途 第三步安装第一步的安装包
双击第一步的安装包点下一步 更改安装路径路径不可有中文然后点击下一步 默认下一步 接受许可下一步 默认下一步 点击安装 这中间会下载一些东西可以挂上梯子等待安装 单击完成 桌面出现GPT4All标志 第四步模型存放
第二步下载的模型存放在E:\GPT4All目录下就是第三步的安装路径 第五步简单使用
双击下图的logo 下面两个选项问你是否向GPT4ALL反馈你的使用分析和聊天对话以帮助改进GPT4ALL如果选择YES你的聊天内容将公开可被别人下载如果你的聊天内容涉及隐私的话建议选择NO 出现下载模型的界面不用下载 选择第四步存放模型的页面 出现了我们下载的模型 输入hello world测试一下 测试效果如下 也可以中文问答但答案是上面英文的翻译版本翻译的也挺僵硬上面我问的也是怎么做红烧肉 话外音这个模型真的吃电脑资源。 Downloads可以下载新的模型 点击Downloads可以加载出可下载模型页面
和上面网址下载是一样的名字可能不太一样但是内容描述是一样的 下载一个小点模型 然后重启一下软件就可以在主页面顶上选择模型
