南昌集团制作网站设计,龙岩网页,wordpress删除首页,做公司网站需要花钱吗持续分享 SPG 及 SPG LLM 双驱架构应用相关进展
1、动机
在很多自然语言处理任务中#xff0c;上下文学习的性能已经媲美甚至超过了全资源微调的方法。但是#xff0c;其在关系抽取任务上的性能却不尽如人意。以 GPT-3 为例#xff0c;一些基于 GPT-3 的上下文学习抽取方… 持续分享 SPG 及 SPG LLM 双驱架构应用相关进展
1、动机
在很多自然语言处理任务中上下文学习的性能已经媲美甚至超过了全资源微调的方法。但是其在关系抽取任务上的性能却不尽如人意。以 GPT-3 为例一些基于 GPT-3 的上下文学习抽取方法在关系抽取任务上不理想的效果主要来自于两个方面① 检索演示示例中实体、关系的相关度较低② 大语言模型具有将 NULL 例子错误分类成为预定义关系类型的强烈倾向。造成①的原因主要是以上方法通过随机选择或基于句子表示的 K 近邻法检索演示示例。这会导致演示示例实体、关系的相关度低造成②的原因主要是相对于符合预定义类型的示例NULL 示例的复杂度更高该类型是包含各种未定义的关系的集合。针对以上问题该论文提出了结合实体感知检索策略和事实标签诱导策略的 GPT-RE以提高基于大语言模型的上下文学习在关系抽取任务上的性能。
2、贡献
该论文的主要贡献包括1提出了实体感知检索策略和事实标签诱导策略实体感知检索策略能够在演示检索中结合实体信息获取更适合关系抽取任务的表示事实标签诱导策略能够引导大语言模型输出更理想的结果2通过实验验证了结合以上两种策略的基于大语言模型的上下文学习框架能够在关系抽取任务中取得很好的效果在测试数据集上的性能已经赶上甚至超过了现有全监督基线模型
3、方法 图 1 GPT-RE 框架
GPT-RE 是一个使用 GPT-3 的基于上下文学习的关系抽取框架其具体方法如下
3.1 提示构建
GPT-RE 的提示主要包括三部分分别是①任务描述和关系预定义类型②小样本演示示例③输入样本。提示包含的任务描述和关系预定义类型是对关系抽取的任务描述和其相关的关系预定义类型的一个简洁概括模型会根据这部分的内容输出预定义的关系类型若测试样本不属于任何预定义关系类型模型会输出 NULL 标签。小样本演示示例是输入模型的演示示例其中每条样例包含文本和该文本中所包含的关系演示示例可以通过后续推理过程进一步的丰富。输入样本为一条文本GPT-3 的任务就是输入文本中实体对所对应的关系。
3.2 实体感知演示检索
因为演示示例在表示空间中接近测试样本可以使模型表现出更好的性能最近的一些工作使用 K 近邻法选出与测试样本句子表示最相近的演示示例。但是由于句子表示和关系抽取之间的差异原始上下文的表示在关系抽取任务中不足以完全作为检索演示示例的标准该论文提出了两种新的获取表示方法提升检索演示示例的质量。
3.2.1 实体提示句子表示
首先考虑到实体信息在关系抽取任务中的重要性作者利用实体对信息重建原始上下文。其具体做法是在原文中加入描述原文中实体对关系类型的内容。在计算句子相似度时作者使用了最新的健壮模型 SimCSE 来计算句子之间的相似度。
3.2.2 微调关系表示
由于关系表示在很多情况下天然地包含了实体表示的信息与将实体信息加入到上下文中相比更直接的解决方法是从微调模型中提取关系表示用于检索演示示例。作者认为这种方法可以潜在地弥补 GPT-3 在关系抽取任务中的局限性。虽然基于 GPT-3 的上下文学习只使用有限的演示示例但预训练模型的微调过程可以在整个训练集上进行。这种方法有两个优点首先直接使用适应关系抽取任务的关系表示可以显著提高整体检索质量其次由于微调后的模型可以准确识别 NULL 类型因此过度预测 NULL 问题将得到缓解。
3.3 事实标签诱导推理
最近的工作表明逻辑提示可以引导大语言模型获得理想输出。在该论文中作者让 GPT-3 通过相应的事实关系标签来生成每个演示示例的推理逻辑过程。例如给定一个选定的示例作者首先基于该示例文本提出一个提示然后利用 GPT-3 生成推理上下文中实体对之间关系类型的逻辑线索。最后作者通过将生成的线索与原始示例结合起来增强演示示例。
4、实验
该论文使用了三个开放领域关系抽取数据集和一个科学领域关系抽取数据集共四个数据集作为实验数据分别为Semeval 2010 task 8, TACRED, ACE05 和 SciERC。基于以上四个数据集的对比方法共分为两大类第一类为传统的微调基线模型如 PURE第二类是基于 GPT-3 的基线模型如 GPT-Random 等。该论文对比了以上基线模型和 GPT-RE 在使用不同表示检索演示示例时的性能并对比了是否加入实施标签诱导推理提示时 GPT-RE 的性能差异其主实验结果如下图所示 图 2 实验结果
此外该论文也进行了一系列消融实验和在低资源场景下的实验具体实验结果请参照原论文。实验结果表明① 在检索演示示例时使用适合特定任务的句子表示是有必要的无论是使用 GPT-RE_SimCSE 还是 GPT-RE_FT 都取得了比 GPT-Sent 更好的效果② GPT-RE_FT 表现出的性能表明基于 GPT-3 的上下文学习有潜力在关系抽取上取得很好的效果甚至已经在 Semeval 和 SciERC 上取得了 SOTA 效果③ 相比于 GPT-RE_SimCSE推理模块对 GPT-RE_FT 的加成更小这说明 GPT-RE_FT 获得的演示示例在本实验中质量更高。同时小样本时推理模块会使模型具有更好的性能。
5、总结
总的来说该论文探索了 GPT-3 上下文学习在关系抽取任务上的潜力。针对 GPT-3 在此任务上存在的问题该论文提出了两个策略弥补了基于 GPT-3 框架和目前 SOTA 基线模型的差距实验结果表明GPT-RE 在三个数据集上显著优于微调基线模型并在 Semeval 和 SciERC 上实现了 SOTA 效果。同时作者对 GPT-3 如何克服现有困难如 NULL 标签的影响等进行了详细的实例分析以上工作对后续研究具有比较大的意义。
