网站平台规划方案,建设部工程业绩网站,河南省监理协会官方网站建设,wordpress重要插件论文笔记整理#xff1a;汪寒#xff0c;浙江大学硕士。链接#xff1a;https://www.aclweb.org/anthology/P19-1024.pdf动机KG的分布遵循长尾分布#xff0c;大部分关系只有很少的三元组#xff0c;且大体趋势是关系出现的频率和与之相关的不常见实体的比例呈反比关系。而… 论文笔记整理汪寒浙江大学硕士。链接https://www.aclweb.org/anthology/P19-1024.pdf动机KG的分布遵循长尾分布大部分关系只有很少的三元组且大体趋势是关系出现的频率和与之相关的不常见实体的比例呈反比关系。而之前的知识图谱补全工作都围绕在那些出现频率较高的实体和关系忽略了剩下的那些infrequent relation和uncommon entities所以作者就将针对 infrequent relations 和uncommon entities的KGC构造成一个few-shot learning的问题并提出了一个meta-learning框架。亮点本文的亮点主要包括1提出了entity trait的概念即实体的表示应该是relation-specific的也就是不同的关系与实体的表述的不同部分相关利用文本信息作为补充信息。2提出了一个Triplet Generator在meta-testing的训练阶段用一个VAE网络生成一些三元组进行数据增强。概念及模型Overview of Learning Method将每种关系的KGC看作是一个task把所有task分为训练集Rtrain验证集Rval以及测试集Rtest。在meta-training的阶段每次都随机抽取B个task训练模型得到模型参数W。在meta-testing的阶段对每个task都随机抽r个三元组继续训练模型得到模型参数W’再在剩下的三元组上测试模型性能。Description Encoder从description生成三元组的embedding O(oh,or, ot)1. relation embedding生成用一个CNN网络将relation的description映射成一个向量or 2. entity trait计算entitytrait表示与某个关系相连所有的实体的共有特征这个部分由两个memory matrix完成其中Mrh形状为[m,u]表示relation memoryMh形状也为[m,u]表示entity memory这两个记忆矩阵可以记录实体和关系的全局信息。 3. relation-specific entity embedding生成先将entity的description通过一个CNN网络生成hidden states再用上一步生成的entity trait作为key计算隐状态权重最后生成entity embedding。 Triplet Generator用一个复杂版的VAE来生成一些三元组补充训练数据。Meta-Learner用Reptile算法优化。理论分析实验1. 数据集作者通过Wikidata和DBPedia人工构造了两个数据集只选择那些对应三元组出现次数多于5次少于1000次的关系。 2. One-shot和Four-shot KGC 实验结果其中Ours-TCVAE是指去掉Triplet Generator。3. TripletGenerator study表示用Triplet Generator生成不同个数三元组时模型在One-shot场景的表现。总结本文在few-shot问题上引入了文本信息作为补充信息并提出了entity trait的概念也就是实体的embedding应该是relation-specific。同时为了解决在meta-testing的训练阶段训练不足的问题还提出了一个基于VAE的Triplet Generator来人工生成三元组补充训练数据。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
