商城网站优化,黑龙江快讯,天津网站设计建设,网站策划技巧论文笔记整理#xff1a;吴锐#xff0c;东南大学硕士研究生#xff0c;研究方向为自然语言处理来源#xff1a;ICML 2019链接#xff1a;http://proceedings.mlr.press/v97/qu19a/qu19a.pdf问题定义弱监督下的在关系数据中的对象分类。形式化地来说#xff0c;给定一个图… 论文笔记整理吴锐东南大学硕士研究生研究方向为自然语言处理 来源ICML 2019链接http://proceedings.mlr.press/v97/qu19a/qu19a.pdf 问题定义弱监督下的在关系数据中的对象分类。形式化地来说给定一个图G图上有结点V表示一系列对象在对象间存在有一系列边E且每个结点都有对应的属性XV。当前已知部分结点L的标签目的是推测出剩余结点U的标签值。 相关工作该问题当前主要可以从两个方向进行研究1统计关系学习SRL, Statistical Relational Learning以统计模型来对关系数据进行建模代表性的方法有条件马尔可夫网络relational Markov networks和马尔可夫逻辑网Markov logic networks。这些方法通常使用条件随机场来对对象之间的依赖关系进行建模也正是因为这种建模的有效性这些方法能够在弱监督的对象分类上取得不错的效果。2图神经网络GNN, Graph Neural Network通过非线性的神经结构能够以端到端的方式学习到有效的对象表示representation从而解决对象分类的问题。例如图卷积网络graph convolutional networks可以有效地将周围结点的信息学习到结点的表示当中。这类方法由于能够有效地从关系数据中学习到对象的表示目前已经达到了SOTA的表现。 存在的问题在传统的统计关系学习方法中存在着以下缺陷1) 由于这些方法通常采用CRF进行建模因此需要手动地构造一些特征函数来作为势函数的组成部分而这些特征函数往往是启发式的从而导致了模型的能力有限2) 由于对象之间关系结构的复杂性导致难以推理inference出未知标签的结点U的后验分布posterior distribution。在图神经网络的方法中由于各个结点的标签是根据相关的表示分别预测的因此忽略了各个结点的标签之间的依赖性 方法提出图马尔可夫神经网络GMNN, Graph Markov Neural Network结合了SRL与GNN的优点既能够学习到有效的结点表示也能够对结点标签之间的依赖进行建模。 具体来说GMNN仍然以CRF对已知结点标签之间的联合条件概率分布以所有结点的属性为条件进行建模。 该模型可以有效且高效地通过变分EM框架进行优化在推断E步与学习M步中不断交替、迭代。 在E步中由于具体的后验分布是难以计算的因此引入了平均场近似mean-field approximation。 受摊还推断amortized inference的启发同样使用一个GNN来参数化结点标签的后验分布该GNN能够学习到有利于标签预测的结点的表示。 目标函数如下 可以理解用变分的方法不断减小q与真实的后验分布之间的KL散度使得q不断逼近真实的后验分布式11同时由于部分已知标签的存在因此该部分结点标签的概率分布直接使用真实值即可式12。E步的形式化过程如下图 在M步中由于直接优化似然函数存在困难因此以优化伪似然pseudolikelihood的方式来代替极大似然方法。 用一个GNN来参数化局部的结点标签的条件概率分布。 这样就能够对结点标签之间的依赖性进行建模并且不需要手动构建势函数。目标函数如下 M步的形式化过程如下图 具体的优化算法如下 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
