网站开发费用报价表,wordpress有趣插件,网络营销师报名官网,可以做婚礼视频的网站OpenKG 大模型专辑 导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力#xff0c;知识图谱则丰富了表示知识的方式#xff0c;两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下#xff0c;OpenKG组织… OpenKG 大模型专辑 导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力知识图谱则丰富了表示知识的方式两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下OpenKG组织新KG视点系列文章——“大模型专辑”不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期特别邀请到华为大模型技术专家李芳明和浙江大学研究员张文分享“知识与大模型融合技术在电信领域应用探索”。 分享嘉宾 | 李芳明华为、张文浙江大学 笔记整理 | 邓鸿杰OpenKG 内容审定 | 陈华钧 摘要本次分享是我们团队近两年做的一些知识与大模型融合技术在电信领域应用的一些工作。主要包括两部分内容 1. 知识图谱与大模型融合故障定界 2. 知识与大模型融合电信领域知识问答 01 知识图谱与大模型融合故障定界 1.1 背景介绍 云核心网的特点是为了完成对应的业务功能需要不同网元之间的相互调用所以当一个网元故障发生时与其有业务调用关系的网元也会业务受损表现出故障状态。故障网元实例定界就是在多个网元都出现故障现象时定位到真正的故障网元即“始作俑者”。下图是云核心网的逻辑架构图。 整体方案的输入为故障数据包输出故障网元目标最大化提升运维工程师的定位效率。PS机器语言大模型是我们决策式大模型的名字。 1.2 技术方案 1.2.1 技术方案概述 在ChatGPT出来之前“模型知识双驱动”的研究方向是很火的我们团队之前也做了基于知识图谱的故障定界方案所以接下来我们就想探索一个基于模型的故障定界方案说到基于模型那肯定要上大模型虽然当时大模型没有火热到今天这种地步也还是很热门的研究方向。 整体方案的设计思路是将故障发生时的异常事件向量化后全部挂载到对应网元上去得到一个故障时刻的数字网络快照然后通过图神经网络的方法去完成不同网元之间的异常事件信息交换经过信息交换后每个网元都是“知己知彼”既知道自己发生了什么异常事件又知道周边网元发生了什么异常事件接下来就可以通过全连接神经网络推断每个网元是否是根因网元。有点类似于剧本杀的逻辑大家都拿到各自剧本最开始只知道自己身份相关的一些信息然后和其他玩家交换的信息逐渐根据自己和别人提供的信息就能推断出嫌疑人了。接下来根据知识图谱中的相关知识对以上结果进行校正最终实现了根因网元定位。根据以上设计思路形成了以下的具体技术方案。 步骤1故障异常事件提取这里包括对不同类型机器数据的异常事件提取例如KPI异常事件日志的异常事件告警本身就是异常事件因为我们注意到专家在故障定界的过程中主要是看不同类型的异常事件去定界的。 步骤2异常事件挂载形成故障快照首先现网的配置情况还原各个网元之间的业务调用关系形成一个有向的图结构并把上一步提取的异常事件按照发生位置挂载到具体网元上去这样就形成了如下的故障快照蓝色代表网元实例橙色代表异常事件网元之间的单向箭头代表业务调用关系。 步骤3故障快照数字化前面的故障快照是人能看懂的神经网络是看不懂的那我们要把它变成神经网络也能看懂的形式即数字化也就是向量化。这里数字化的具体方案与下游任务有关因为我的下游任务选择的是用图神经网络的技术栈所有结构信息可以简单数字化为邻接矩阵传递给图神经网络。主要技术难度在于异常事件数字化因为这里面包括对于KPI异常事件日志异常事件、告警等不同类型异常事件的向量化。我们的思路就是用bert类大模型机器语言大模型对不同类型异常事件根据语义来进行向量化。例如一个KPI异常事件是“5GC 会话成功率下降”把这句话输入给机器语言大模型它就会给我输出一个768维的向量即为这个异常事件的数字化结果。接下来我们又发现一个问题告警本质上属于结构化数据一条告警有很多个字段每个字段有对应的具体到这条告警的值。我们就想了一个办法把告警的关键字段的keyvalue提取出来拼接后送给大模型最终每个告警也会得到一个768维的数字化结果。我们也尝试了把每个keyvalue分别送给大模型做数字化在融合并做了对比试验效果没有拼接后送给大模型好。 最终我们实现了故障快照的数字化如下图 这个地方省略了一个重要细节就是我们的机器语言大模型具体怎么训练的为了保持整体方案的逻辑性在这先不讲后面会单独讲机器语言大模型怎么得到的具体参数量有多大。 步骤4网元之间信息交换不同网元之间的信息交换是通过图神经网络的技术栈实现的具体选用的GATGraph Attention Networks方案功能上就是实现了相邻网元之间的信息交换做到了“知己知彼”这里的建模思路是受到云核运维专家定位过程的启示即判定一个网元是不是真正发生了故障不仅要看网元本身发生了什么异常事件还要看对端网元发生了什么异常事件。 这有个关键问题“是不是每个网元都只是吸收了它相邻网元的信息”答案是否定的因为如果我们让网元之间交换两次信息的话那就是每个网元都吸收了它两跳网元的信息因为相邻网元在第一次信息交换时已经吸收了它相邻网元的信息。比较绕。 步骤5逐一判断网元是故障网元的概率在经过几轮信息交换后每个网元都知道自己发生了哪些异常其他网元发生了哪些异常接下来就可以逐一判断每个网元是否真的发生了故障只要通一个MLP就可以实现当然需要一些历史数据训练MLP。 步骤6根据知识图谱进行结果校正首先梳理主要异常事件的发生网元然后在知识图谱中提取本次故障主要异常事件的故障传播关系识别根因事件如下图中的ALARM5和ALARM1然后初始化一个网元的根因权重矩阵初始值均为1然后根据每个网元上的根因事件更新权重矩阵每有一个根因事件权重增加0.1最终得到加权后的网元根因权重矩阵。 接下来用步骤五得到的每个网元的故障概率乘以网元根因权重矩阵各自的权重系数得到最终的每个网元是根因网元的概率超过阈值的网元即为故障网元。 1.2.2 机器语言大模型 介绍到这还没讲一个关键问题就是我们的机器语言大模型是怎么来的它的特点是什么为什么叫机器语言大模型接下来就用一个小节揭开机器语言大模型的神秘面纱。 首先说为什么叫机器语言大模型因为像KPI、告警、日志等数据我们统称为机器语言大模型我们的大模型设计初衷也就是对各类机器数据的异常事件进行embedding所以我们的大模型叫机器语言大模型。至此大家可能也猜到了机器语言的预训练数据肯定是电信领域的数据的确如此包括了电信领域的基础知识数据和不同类型的机器语言数据。基础知识数据包括通用的电信领域知识和华为产品的专有知识机器数据就是现网采集回来的告警、日志、KPI等数据。 机器语言大模型的构建是与浙江大学陈华钧老师团队合作完成的具体细节可参考论文“Tele-Knowledge Pre-training for Fault Analysis”使用下图中的服务向量作为机器数据异常事件的embedding结果。 1.3 关键技术及应用效果 我们在两个数据集上验证了方案的应用效果团泊洼镜像实验环境样本集和仿真数据集随着我们样本的持续累积精度不断在提升最终我们共获得629个团泊洼镜像实验环境样本和1251个仿真故障样本在两个样本集每次随机选取70%作为训练集训练GAT和MLP30%作为测试集经过50次实验在两个样本集上的平均精度分别是91.55%和94.1%。 02 知识与大模型融合电信领域知识问答 2.1应用背景 盘古通信L1大模型NetGPT是基于盘古NLP大模型构建的电信行业大模型虽然NetGPT在很多行业知识问答虽然已经取得了很好的效果但是强如GPT4也会存在幻觉和事实性错误这个问题同样出现在我们的电信行业模型上我们发现用户问题知识点分布在不同预训练语料块时模型的回答可能是部分答案不够完全。还有就是对于预训练数据中表格里面的知识尤其与数字相关的知识模型在回答的时候可能会存在事实性错误的情况。如下表所示是典型的三个回答部分正确和事实性错误的知识问答实例。可以看到前两个问题大模型回答的时候遗漏了部分关键信息如红色部分所示。第三个问题答案部分的192.168.0.1被大模型回答为了192.168.0.0。毕竟大模型是概率模型难免会记忆混淆。 2.2 NetGPT结合向量化数据库知识问答方案 为了提升NetGPT知识问答的准确性我们设计了如下的NetGPT结合向量化数据库的知识问答架构方案。 首先要保证知识召回的准确率总体使用文本召回向量混合召回再精排的组合方案。在使用的知识的过程中我们设计了“事前知识增强事中知识copy事后知识校验”。 “事前知识增强”知识增强即为讲检索回来的知识作为背景信息放到prompt中作为大模型输入。 “事中知识copy”知识copy即为在大模型生成答案过程中适当从检索回来的知识中copy关键片段到答案中。这个能力较为复杂需要选择合适的生成内容位置插入copy片段验证copy内容合理性对模型并发推理性能要求比较高。 “事后知识校验”事后校验为在答案生成完成后对生成内容的关键信息如关键数值等信息做校验。 2.3 应用效果 基于以上方案我们再次验证了上述回答不全或者错误的问题结果如下可以看到三个问题全部回答正确。 03 总结 在ChatGPT出来之前“知识模型双驱动”就是很火的研究方向ChatGPT出来后有一些“是否还需要继续投入知识图谱的研究”的讨论事实证明知识图谱在后ChatGPT大模型时代依然存在较高的研究价值。 以上就是本次分享的内容谢谢。 作者简介 INTRODUCTION 李芳明 华为大模型技术专家盘古通信大模型NetGPT技术负责人 李芳明博士长期从事AI技术在智能运维领域的应用研究工作目前负责电信行业大模型的设计与开发以及大模型与知识结合技术在电信行业应用研究工作。 作者简介 INTRODUCTION 张文 浙江大学特聘研究员 张文浙江大学软件学院特聘研究员研究方向为知识图谱、知识表示、知识推理。个人主页https://person.zju.edu.cn/zhangwen OpenKG OpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。 点击阅读原文进入 OpenKG 网站。
