做医美设计的网站,学做网站论坛插件,软件开发属于技术服务吗,怎么免费建设个人网站本文是LLM系列文章#xff0c;针对《Fine-tuning Large Enterprise Language Models via Ontological Reasoning》的翻译。 基于本体论推理的大型企业语言模型微调 摘要1 引言2 微调LLM的神经符号管道3 通过概念证明进行初步验证4 结论 摘要
大型语言模型#xff08;LLM针对《Fine-tuning Large Enterprise Language Models via Ontological Reasoning》的翻译。 基于本体论推理的大型企业语言模型微调 摘要1 引言2 微调LLM的神经符号管道3 通过概念证明进行初步验证4 结论 摘要
大型语言模型LLM利用特定任务的训练数据将微调作为一种适应不同目标的技术。任务特异性应该与领域定向齐头并进即LLM的专业化以准确地处理给定感兴趣领域的任务。然而模型通常是根据公开可用的数据进行微调的或者最多是根据数据库中的真实数据进行微调而忽略了业务级别的定义和领域经验。另一方面企业知识图谱EKG能够通过本体论推理来捕获和增强这些领域知识。为了将LLM的灵活性与EKG的领域定向相结合我们提出了一种新的神经符号体系结构该体系结构利用本体论推理的力量来构建用于LLM微调的任务和领域特定语料库。
1 引言
2 微调LLM的神经符号管道
3 通过概念证明进行初步验证
4 结论
根据计算语言学协会欧洲分会最近发表的一项工作预先训练的语言模型还不能进行演绎推理它们仍然不能概括逻辑规则即使提供了规则LLM也倾向于忘记以前推断的事实。虽然Transformer架构和推理方法之间还没有进行广泛的比较但我们的工作表明通过产生微调语料库作为本体论推理的副产品可以明显提高领域特定NLP任务的LLM性能。我们利用我们在演绎推理方面的经验为在企业知识图谱上进行推理的神经符号平台迈出了第一步。
