网站302跳转,wordpress图片标签,钓鱼转转网站在线生成软件,wordpress弹窗留言检索增强生成#xff08;RAG#xff09;是一种新兴的 AI 技术栈#xff0c;通过为大型语言模型#xff08;LLM#xff09;提供额外的“最新知识”来增强其能力。 基本的 RAG 应用包括四个关键技术组成部分#xff1a; Embedding 模型#xff1a;用于将外部文档和用户查询… 检索增强生成RAG是一种新兴的 AI 技术栈通过为大型语言模型LLM提供额外的“最新知识”来增强其能力。 基本的 RAG 应用包括四个关键技术组成部分 Embedding 模型用于将外部文档和用户查询转换成 Embedding 向量 向量数据库用于存储 Embedding 向量和执行向量相似性检索检索出最相关的 Top-K 个信息 提示词工程Prompt engineering用于将用户的问题和检索到的上下文组合成大模型的输入 大语言模型LLM用于生成回答 上述的基础 RAG 架构可以有效解决 LLM 产生“幻觉”、生成内容不可靠的问题。但是一些企业用户对上下文相关性和问答准确度提出了更高要求需要更为复杂的架构。一个行之有效且较为流行的做法就是在 RAG 应用中集成 Reranker。 01.什么是 Reranker Reranker 是信息检索IR生态系统中的一个重要组成部分用于评估搜索结果并进行重新排序从而提升查询结果相关性。在 RAG 应用中主要在拿到向量查询ANN的结果后使用 Reranker能够更有效地确定文档和查询之间的语义相关性更精细地对结果重排最终提高搜索质量。 目前Reranker 类型主要有两种——基于统计和基于深度学习模型的 Reranker 基于统计的 Reranker 会汇总多个来源的候选结果列表使用多路召回的加权得分或倒数排名融合RRF算法来为所有结果重新算分统一将候选结果重排。这种类型的 Reranker 的优势是计算不复杂效率高因此广泛用于对延迟较敏感的传统搜索系统中。 基于深度学习模型的 Reranker通常被称为 Cross-encoder Reranker。由于深度学习的特性一些经过特殊训练的神经网络可以非常好地分析问题和文档之间的相关性。这类 Reranker 可以为问题和文档之间的语义的相似度进行打分。因为打分一般只取决于问题和文档的文本内容不取决于文档在召回结果中的打分或者相对位置这种 Reranker 既适用于单路召回也适用于多路召回。 02.Reranker 在 RAG 中的作用 将 Reranker 整合到 RAG 应用中可以显著提高生成答案的精确度因为 Reranker 能够在单路或多路的召回结果中挑选出和问题最接近的文档。此外扩大检索结果的丰富度例如多路召回配合精细化筛选最相关结果Reranker还能进一步提升最终结果质量。使用 Reranker 可以排除掉第一层召回中和问题关系不大的内容将输入给大模型的上下文范围进一步缩小到最相关的一小部分文档中。通过缩短上下文 LLM 能够更“关注”上下文中的所有内容避免忽略重点内容还能节省推理成本。 上图为增加了 Reranker 的 RAG 应用架构。可以看出这个检索系统包含两个阶段 在向量数据库中检索出 Top-K 相关文档同时也可以配合 Sparse embedding稀疏向量模型覆盖全文检索能力。 Reranker 根据这些检索出来的文档与查询的相关性进行打分和重排。重排后挑选最靠前的结果作为 Prompt 中的Context 传入 LLM最终生成质量更高、相关性更强的答案。 但是需要注意相比于只进行向量检索的基础架构的 RAG增加 Reranker 也会带来一些挑战增加使用成本。 03.使用 Reranker 的成本 在使用 Reranker 提升检索相关性的同时需要着重关注它的成本。这个成本包括两方面增加延迟对于业务的影响、增加计算量对服务成本的增加。我们建议根据自己的业务需求在检索质量、搜索延迟、使用成本之间进行权衡合理评估是否需要使用 Reranker。 Reranker 会显著增加搜索延迟 未使用 Reranker 的情况下RAG 应用只需执行低延迟的向量近似最近邻 (ANN) 搜索从而获取 Top-K 相关文档。例如 Milvus 向量数据库实现了 HNSW 等高效的向量索引可实现毫秒级的搜索延迟。如果使用 Zilliz Cloud还能借助更加强大的 Cardinal 索引进一步提升搜索性能。 但如果增加了 Reranker尤其是 Cross-encoder Reranker 后RAG 应用需要通过深度学习模型处理所有向量检索返回的文档这会导致延时显著增加。相比于向量检索的毫秒级延迟取决于模型大小和硬件性能延迟可能提高到几百毫秒甚至到几秒 Reranker 会大幅度提高计算成本 在基础架构的 RAG 中向量检索虽然需要预先使用深度学习模型处理文档但这一较为复杂的计算被巧妙设计在离线状态下进行。通过离线索引Embedding模型推理每次在线查询过程只需要付出极低计算成本的向量检索即可。与之相反使用 Reranker 会大大增加每次在线查询的计算成本。这是因为重排过程需要对每个候选文档进行高成本的模型推理不同于前者可以每次查询都复用离线索引的结果使用 Reranker 需要每次在线查询都进行推理结果无法复用带来重复的开销。这对于网页搜索、电商搜索等高流量的信息检索系统非常不适用。 让我们简单算一笔账看看使用 Reranker 的成本。 根据 VectorDBBench 的数据一个能负担每秒钟 200次 查询请求的向量数据库使用成本仅为每月 100 美元平摊下来相当于每次查询成本仅为 0.0000002 美元。如果使用 Reranker假设第一阶段向量检索返回 top-100 个文档重排这些文档的成本高达 0.001 美元。也就是增加 Reranker 比单独执行向量搜索的成本高出了 5000 倍。 虽然很多实际情况中可能只针对少量结果进行重排例如 10 到 20 个但是使用 Cross-encoder reranker 的费用仍然远高于单纯执行向量搜索的费用。 从另一个角度来看使用 Reranker 相当于在查询时负担相当于离线索引的高昂成本也就是模型推理的计算量。推理成本与输入大小文本的 Token 数和模型本身的大小有关。一般 Embedding 和 Reranker 模型大小在几百 MB 到几个 GB不等。我们假设两种模型尺寸接近因为查询的文档一般远大于查询的问题对问题进行推理成本忽略不计如果每次查询需要重排 top-10 个文档这就相当于10 倍对于单个文档离线计算 Embedding 的成本。如果在高查询负载的情况下计算和使用成本可能是无法承受的。对于低负载的场景例如企业内部高价值低频率的知识库问答这一成本则可能完全可以接受。 04.成本比较向量检索 v.s. Cross-encoder Reranker v.s. 大模型生成 虽然 Reranker 的使用成本远高于单纯使用向量检索的成本但它仍然比使用 LLM 为同等数量文档生成答案的成本要低。在 RAG 架构中Reranker 可以筛选向量搜索的初步结果丢弃掉与查询相关性低的文档从而有效防止 LLM 处理无关信息相比于将向量搜索返回的结果全部送进 LLM 可大大减少生成部分的耗时和成本。 举一个贴近实际的例子第一阶段检索中向量搜索引擎可以在数百万个向量中快速筛选出语义近似度最高的 20 个文档但这些文档的相对顺序还可以使用 Reranker 进一步优化。虽然会产生一定的成本但 Reranker 可以在 top-20 个结果进一步挑出最好的 top-5 个结果。那么相对更加昂贵的 LLM 只需要分析这 top-5 个结果即可免去了处理 20 个文档带来的更高成本和注意力“涣散”的问题。这样一来我们就可以通过这种复合方案平衡延迟、回答质量和使用成本。 05.哪种情况适合在 RAG 应用中使用 Reranker 追求回答高精度和高相关性的场景中特别适合使用 Reranker例如专业知识库或者客服系统等应用。因为这些应用中的查询都具有很高的商业价值提升回答准确性的优先级远高于系统性能和控制成本。使用 Reranker 能够生成更准确的答案有效提升用户体验。 但是在网页搜索、电商搜索这类场景中响应速度和成本至关重要因此不太适合使用代价高昂的 Cross-Encoder Reranker。此类应用场景更适合选用向量检索搭配更轻量的 Score-based Reranker从而确保响应速度在提升搜索质量的同时降低开销。 06.总结 相比于单独使用向量检索搭配 Reranker 可以通过对第一层检索结果的进一步精细化排序提高检索增强生成RAG和搜索系统中答案的准确性和相关性。但是使用 Reranker 会增加延时和提高使用成本因此不适合高频高并发的应用。考虑是否使用 Reranker 时需要在回答准确性、响应速度、使用成本间做出权衡。 如果需要在 RAG 应用中使用 Reranker可以采用最新推出的 pymilvus 模型库组件调用 Reranker 模型配合 Milvus 的向量检索。同时 Zilliz Cloud 不仅提供向量数据库这一关键组件还推出了 Pipelines 功能通过调用 API 服务一站式完成文本向量化、检索、重排序简化了 RAG 应用的后端架构和降低维护成本。有兴趣的读者可以访问链接(https://docs.zilliz.com/reference/python/Model) 或者浏览https://milvus.io/docs 了解在 Zilliz Cloud Pipelines 或者 Milvus 使用 Reranker 的详情。 本文由 mdnice 多平台发布
