北京网站域名备案查询,辽宁省开原市城乡建设投资有限公司网站,长清网站建设费用,门户网站建设方案招标文件原来向量数据库的应用场景是这样的#xff01;按照我的理解#xff0c;大模型其实是没有学习能力的#xff0c;它就相当于一个真值表或者矩阵#xff0c;给它输入#xff0c;它就输出#xff0c;在使用它的过程中它不会自己训练自己#xff0c;改变既有的参数#xff0…原来向量数据库的应用场景是这样的按照我的理解大模型其实是没有学习能力的它就相当于一个真值表或者矩阵给它输入它就输出在使用它的过程中它不会自己训练自己改变既有的参数它也不会去网上查数据自己训练自己改变自己的参数。
通常大家会搞到一个已经训练好的大模型但是这个大模型是用通用的大数据训练的里面包含通用领域的信息但是特定领域的信息是没有的或者很浅目前许多公司用大模型是想利用大模型在特定领域实现专家系统或某种智能应用。
但大模型不会自己学习让它学习其实就相当于重新训练大模型成本高昂而且大多数公司也不没有训练大模型的能力。
怎么办呢办法就是在输入的问题或命令中包含特定领域的背景知识例如 “小明的妈妈有三个孩子老大叫小军老二叫小米老三叫小明。小明是独生子吗”。其中“小明是独生子吗” 是我们想问大模型的问题“小明的妈妈有三个孩子老大叫小军老二叫小米老三叫小明。”是背景知识。
这一招被实践证明还挺好用解决了不少问题这就是所谓的提示词工程prompt engineering这个过程有个需求就是要根据问题文本查找出和这个问题相关的背景知识文本很自然的想到这个查询可以去搜索引擎上查但是有的公司的数据是私有的搜索引擎是差不到的那么其实就要求公司内部建立这么个搜索引擎这是一个思路实际上使用和搜索引擎差不多的一个东西就是向量数据库把背景知识小明的妈妈。。。文本转成向量把问题小明是独生子吗也转成向量在查询大模型前先查询向量数据库得到相关性最强的背景知识然后把背景知识文本和问题文本一起塞给大模型。 Retrieval Augmented Generation (RAG) | Prompt Engineering Guide (promptingguide.ai)
PostgreSQL as a Vector Database: Create, Store, and Query OpenAI Embeddings With pgvector (timescale.com)
这样实现让大模型“学习”的技术除了提示词工程还有模型微调这篇文章很大的介绍了这个概念
通俗解读大模型微调(Fine Tuning) - 知乎 (zhihu.com)
