官方网站建设成果,企点怎么群发消息,网站被k了,长沙蒲公英网站建设本文依旧是LLM系列的相关文章#xff0c;LLM与知识图谱结合#xff0c;针对《Unifying Large Language Models and Knowledge Graphs: A Roadmap》的翻译。 统一大语言模型与知识图谱#xff1a;路线图 摘要1 引言2 背景2.1 大语言模型#xff08;LLMs#xff09;2.1.1 仅…本文依旧是LLM系列的相关文章LLM与知识图谱结合针对《Unifying Large Language Models and Knowledge Graphs: A Roadmap》的翻译。 统一大语言模型与知识图谱路线图 摘要1 引言2 背景2.1 大语言模型LLMs2.1.1 仅编码器LLMs2.1.2 编码器-解码器LLMs2.1.3 仅解码器LLMs 2.2 提示工程2.3 知识图谱KGs2.3.1 百科全书式知识图谱2.3.2 常识知识图谱2.3.3 领域特定知识图谱2.3.4 多模态知识图谱 2.4 应用 3 路线图与分类3.1 路线图3.1.1 KG增强的LLMs3.1.2 LLM增强的KGs3.1.3 协同LLMsKGs 3.2 分类 4 KG增强的LLMs4.1 KG增强LLM预训练4.1.1 将KG纳入训练目标4.1.2 将KG纳入LLM输入4.1.3 通过额外的融合模块集成KG 4.2 KG增强LLM推理4.2.1 动态知识融合4.2.2 检索增强知识融合 4.3 KG增强LLM的可解释性4.3.1 KGs用于LLM探测4.3.2 KGs用于LLM分析 5 LLM增强用于KGs5.1 LLM增强KG嵌入5.1.1 LLMs作为文本编码器5.1.2 LLM用于联合文本和KG嵌入 5.2 LLM增强KG补全5.2.1 LLM作为编码器PaE5.2.2 LLM作为生成器PaG5.2.3 PaE和PaG的比较5.2.4 模型分析 5.3 LLM增强的KG构建5.3.1 实体发现5.3.2 核心指代消解CR5.3.3 关系抽取RE5.3.4 端到端的KG构建5.3.5 从LLM中蒸馏知识图谱 5.4 LLM增强KG到文本的生成5.4.1 利用来自LLM的知识5.4.2 构造大型弱KG文本对齐语料库 5.5 LLM增强KG问答5.5.1 LLMs作为实体/关系抽取器5.5.2 LLMs作为答案的推理者 6 协同LLMsKG6.1 知识表征6.2 推理 7 未来方向7.1 KG用于LLM中的幻觉检测7.2 KG用于编辑LLM的知识7.3 KG用于黑盒LLM知识注入7.4 多模态LLM用于KG7.5 LLM用来理解KG结构7.6 用于二元推理的协同LLM和KGs 8 结论 摘要
大型语言模型LLM如ChatGPT和GPT4由于其涌现能力和可推广性正在自然语言处理和人工智能领域掀起新的浪潮。然而LLM是黑匣子模型通常无法捕捉和获取事实知识。相反知识图谱KGs例如维基百科和华普是明确存储丰富事实知识的结构化知识模型。KGs可以通过为推理和可解释性提供外部知识来增强LLM。同时KGs很难从本质上构建和进化这对KGs中现有的生成新事实和表示未知知识的方法提出了挑战。因此将LLM和KGs统一在一起并同时利用它们的优势是相辅相成的。在本文中我们提出了LLM和KGs统一的前瞻性路线图。我们的路线图由三个通用框架组成即1KG增强的LLM它在LLM的预训练和推理阶段纳入了KG或者是为了增强对LLM所学知识的理解2 LLM增强的KG利用LLM执行不同的KG任务如嵌入、补全、构建、图到文本生成和问答以及3协同LLMKGs其中LLM和KGs扮演着平等的角色并以互利的方式工作以增强LLM和KG实现由数据和知识驱动的双向推理。我们在路线图中回顾和总结了这三个框架内的现有努力并确定了它们未来的研究方向。
1 引言
2 背景
2.1 大语言模型LLMs
2.1.1 仅编码器LLMs
2.1.2 编码器-解码器LLMs
2.1.3 仅解码器LLMs
2.2 提示工程
2.3 知识图谱KGs
2.3.1 百科全书式知识图谱
2.3.2 常识知识图谱
2.3.3 领域特定知识图谱
2.3.4 多模态知识图谱
2.4 应用
3 路线图与分类
3.1 路线图
3.1.1 KG增强的LLMs
3.1.2 LLM增强的KGs
3.1.3 协同LLMsKGs
3.2 分类
4 KG增强的LLMs
4.1 KG增强LLM预训练
4.1.1 将KG纳入训练目标
4.1.2 将KG纳入LLM输入
4.1.3 通过额外的融合模块集成KG
4.2 KG增强LLM推理
4.2.1 动态知识融合
4.2.2 检索增强知识融合
4.3 KG增强LLM的可解释性
4.3.1 KGs用于LLM探测
4.3.2 KGs用于LLM分析
5 LLM增强用于KGs
5.1 LLM增强KG嵌入
5.1.1 LLMs作为文本编码器
5.1.2 LLM用于联合文本和KG嵌入
5.2 LLM增强KG补全
5.2.1 LLM作为编码器PaE
5.2.2 LLM作为生成器PaG
5.2.3 PaE和PaG的比较
5.2.4 模型分析
5.3 LLM增强的KG构建
5.3.1 实体发现
5.3.2 核心指代消解CR
5.3.3 关系抽取RE
5.3.4 端到端的KG构建
5.3.5 从LLM中蒸馏知识图谱
5.4 LLM增强KG到文本的生成
5.4.1 利用来自LLM的知识
5.4.2 构造大型弱KG文本对齐语料库
5.5 LLM增强KG问答
5.5.1 LLMs作为实体/关系抽取器
5.5.2 LLMs作为答案的推理者
6 协同LLMsKG
6.1 知识表征
6.2 推理
7 未来方向
在前几节中我们回顾了统一KGs和LLM的最新进展但仍有许多挑战和悬而未决的问题需要解决。在本节中我们将讨论这一研究领域的未来方向。
7.1 KG用于LLM中的幻觉检测
LLMs中的幻觉问题会产生事实上不正确的内容这严重阻碍了LLMs的可靠性。如第4节所述现有研究试图利用KG通过预训练或KG增强推理来获得更可靠的LLM。尽管做出了这些努力但在可预见的未来幻觉问题可能会继续存在于LLM领域。因此为了获得公众的信任和边界应用必须检测和评估LLM和其他形式的人工智能生成内容AIGC中的幻觉实例。现有的方法试图通过在一小部分文档上训练神经分类器来检测幻觉这些文档既不健壮也不强大无法处理不断增长的LLM。最近研究人员试图使用KGs作为外部来源来验证LLM。进一步的研究将LLM和KGs结合起来实现了一个通用的事实核查模型该模型可以检测跨领域的幻觉[249]。因此它为利用KGs进行幻觉检测打开了一扇新的大门。
7.2 KG用于编辑LLM的知识
7.3 KG用于黑盒LLM知识注入
7.4 多模态LLM用于KG
7.5 LLM用来理解KG结构
7.6 用于二元推理的协同LLM和KGs
8 结论
将大型语言模型LLM和知识图谱KGs统一起来是一个活跃的研究方向越来越受到学术界和工业界的关注。在这篇文章中我们对该领域的最新研究进行了全面的概述。我们首先介绍了整合KGs以增强LLM的不同方式。然后我们介绍了现有的将LLM应用于KG的方法并基于各种KG任务建立了分类法。最后我们讨论了这一领域的挑战和未来方向。我们希望本文能对这一领域有一个全面的了解并推动未来的研究。
