网站设计所需要的理念,o2o商城上的二级网站,wordpress 分类置顶,网站怎么做动效引言
在使用ChatGPT或者其他大模型时#xff0c;我们经常会遇到模型答非所问、知识错误、甚至自相矛盾的问题。
虽然大语言模型#xff08;LLMs#xff09;在各种下游任务中展示出了卓越的能力#xff0c;在多个领域有广泛应用#xff0c;但存在着幻觉的问题#xff1a…引言
在使用ChatGPT或者其他大模型时我们经常会遇到模型答非所问、知识错误、甚至自相矛盾的问题。
虽然大语言模型LLMs在各种下游任务中展示出了卓越的能力在多个领域有广泛应用但存在着幻觉的问题即生成与用户输入不符、与先前生成的内容矛盾或与已知世界知识不符的内容。
这种现象对LLMs在现实世界场景中的可靠性构成了重大挑战。在准确率要求非常高的场景下幻觉是不可接受的比如医疗领域、金融领域等。
目前在LLM幻觉问题上已经有无数的研究比如关于幻觉的检测、幻觉的评估基准分类、缓解幻觉的方法等。
今天我会结合几篇有关LLM幻觉问题的综述论文来理解LLM幻觉的分类、检测方法、评估和基准、减轻方法等。
最近的一篇是来自哈尔滨工业大学和华为的研究团队长达49页对有关LLM幻觉问题的最新进展来了一个全面而深入的概述。
这篇综述下文简称综述1从LLM幻觉的创新分类方法出发深入探究了可能导致幻觉的因素并对检测幻觉的方法和基准进行了概述。 论文链接https://arxiv.org/abs/2311.05232 另外还有一篇综述下文简称综述2来自腾讯AI实验室和一些国内大学的研究团队综述提出了LLM幻觉现象的分类法和评估基准分析旨在减轻LLM幻觉的现有方法并确定未来研究的潜在方向。 论文链接https://arxiv.org/pdf/2309.01219.pdf
还有一篇有关幻觉的论文下文简称论文1对各种文本生成任务中的幻觉现象进行了新的分类从而提供了理论分析、检测方法和改进方法。 论文链接https://arxiv.org/pdf/2309.06794v1.pdf
1 幻觉的分类
在综述2中将LLMs幻觉分为三种输入冲突幻觉、上下文冲突幻觉和事实冲突幻觉。 输入冲突幻觉是指生成的内容与用户提供的输入不符 上下文冲突幻觉是指生成的内容与之前生成的信息相矛盾 事实冲突幻觉是指生成的内容与已知的世界知识不符。 图注3种幻觉的定义 而在最新的综述1中将LLM幻觉分为两种事实型幻觉和忠实度幻觉。 如上图所示左边是事实型幻觉当LLM被问到谁是第一个在月球上漫步的人时LLM编了个人物出来甚至还说得有模有样。右边是忠实度幻觉LLM在看到这段新闻后直接把年份概括错了。
下图是一张更为详细的LLM幻觉种类图包括更为细致的分类事实型幻觉包括事实不一致、事实捏造忠实度幻觉又包括指令-答案的不一致、文本不一致以及逻辑不一致。 图注LLM幻觉种类图 总的来说结合事实、上下文、输入的不一致幻觉的定义和分类上是相似的。
结合常见的下游任务比如机器翻译、问答系统、对话系统、文本摘要、LLM知识图谱和视觉问答系统论文1总结了典型的幻觉现象如下表所示 2 幻觉的来源
综述2认为产生幻觉的主要原因有预训练数据收集、知识GAP和大模型优化过程三个方面。
最新的综述1也深入探讨LLM产生幻觉的根本原因主要分为三个关键方面数据、训练和推理。
结合起来我们具体来看下幻觉的来源
2.1 幻觉来自数据 预训练数据大模型的知识和能力主要来自与预训练数据如果预训练数据使用了不完整或者过期的数据那么就很可能导致知识的错误从而引起幻觉现象。 数据利用LLMs 往往会捕捉到虚假的相关性在回忆知识尤其是长尾信息和复杂推理场景中表现出困难从而进一步加剧幻觉。
2.2 幻觉来自训练 预训练阶段LLMs在这一阶段学习通用表征并捕捉广泛的知识通常采用基于transformer的架构在庞大的语料库中进行因果语言建模。但是固有的架构设计和研究人员所采用的特定训练策略可能会产生与幻觉相关的问题。 对齐阶段一般涉及两个主要过程即监督微调和从人类反馈中强化学习RLHF。虽然对齐能显著提高 LLM 响应的质量但也会带来产生幻觉的风险主要分为两方面能力不对齐Capability Misalignment和信念不对齐Belief Misalignment。
2.3 幻觉来自生成/推理
经过预训练和对齐后解码在体现 LLM 能力方面发挥着重要作用。然而解码策略的某些缺陷可能导致 LLM 出现幻觉。综述1深入探讨源于解码过程的潜在原因并强调两个关键因素 解码策略固有的随机性Inherent Sampling Randomness比如采用采样生成策略如top-p和top-k引入的随机性也可能导致幻觉的产生。 不完善的解码表示Imperfect Decoding Representation在解码阶段LLM 使用顶层表示法预测下一个标记。然而顶层表示法也有其局限性主要表现在两个方面上下文关注不足Insufficient Context Attention和Softmax瓶颈Softmax Bottleneck。
3 幻觉的检测
检测 LLM 中的幻觉对于确保生成内容的可靠性和可信度至关重要。传统的衡量标准主要依赖于词语重叠无法区分可信内容和幻觉内容之间的细微差别。这样的挑战凸显了为 LLM 幻觉量身定制更复杂的检测方法的必要性。
鉴于这些幻觉的多样性检测方法也相应地有所不同。
在综述1中全面介绍了针对事实性幻觉和忠实性幻觉的主要幻觉检测策略。
3.1 事实性幻觉的检测
事实性幻觉的检测方法通常分为 检索外部事实Retrieve External Facts和 不确定性估计Uncertainty Estimation。
检索外部事实为了有效地指出 LLM 输出中的事实不准确之处一种直观的策略是将模型生成的内容与可靠的知识来源进行比较如下图 3 所示。 虽然许多幻觉检测方法都依赖外部知识源进行事实检查但有几种方法可以在零资源环境下解决这一问题从而无需检索。
这些策略背后的基本前提是LLM 幻觉的起源本质上与模型的不确定性有关。
因此通过对模型生成的事实内容的不确定性进行估计就可以检测出幻觉。
不确定性估计的方法大致可分为两种基于内部状态和 LLM 行为如图 4 所示。前者的前提是可以访问模型的内部状态而后者则适用于更受限制的环境仅利用模型的可观测行为来推断其潜在的不确定性。 3.2 忠实性幻觉的检测
忠实性幻觉的检测方法主要侧重于确保生成的内容与给定上下文保持一致从而避免无关或矛盾输出的潜在隐患。如下图5探讨在 LLM 生成中检测不忠实的方法。 基于事实度量通过检测生成内容与源内容之间的事实重叠度来评估忠实度。 基于分类器的度量利用经过训练的分类器来区分生成内容与源内容之间的关联程度。 基于QA的度量方法利用问题解答系统来验证源内容与生成内容之间的信息一致性。 不确定性估计通过测量模型对其生成输出的置信度来评估忠实度。 基于prompt的度量方法让LLM充当评估者通过特定的prompt策略来评估生成内容的忠实度。 4 幻觉的评估
针对不同类型的幻觉采用的评估方式不一样。
现有针对幻觉的工作提出了各种基准来评估LLM中的幻觉如下表5所示 现有的基准主要根据LLMs的两种不同能力来评估幻觉生成事实陈述或判别事实陈述与非事实陈述的能力。下表说明了这两种评估形式的区别。 Generation 生成式基准将幻觉看作一种生成特征类似于流畅度和连贯性并对LLM生成的文本进行评估。例如TruthfulQA用于评估大型模型对问题的回答的真实性而FactScore则用于评估大型模型生成的个人传记的事实准确性。 Discrimination 判别式基准考察大型模型区分真实陈述和幻觉陈述的能力。具体来说HaluEval要求模型确定状态信息是否包含幻觉信息而FACTOR则研究LLM是否更可能生成事实陈述而非非事实陈述。
在这些基准中TruthfulQA是一种特殊的基准兼具生成式和判别式两种基准提供了一个多项选择的替代方案以测试模型区分真实陈述的能力。
5 幻觉的解决
论文1总结了五种解决幻觉的方法具体如下图所示 不同下游任务解决幻觉的方法不同具体如下图所示 在哈工大的综述1中全面回顾了当前减轻幻觉的方法并根据幻觉成因对这些方法进行了系统分类。
具体来说综述1将重点放在解决与数据相关的幻觉、与训练相关的幻觉和与推理相关的幻觉的方法上每种方法都提供了量身定制的解决方案以应对各自原因所固有的特定挑战。
