肇庆市住房和城乡房屋建设局网站,网站建设设计总结,离我最近的广告公司在哪里,网站及新媒体账号建设发布形式论文笔记整理#xff1a;杨海宏#xff0c;浙江大学博士生#xff0c;研究方向为开放世界下的多语言知识问答。1. 简介受显存的因素限制#xff0c;应用图神经网络于大规模图学习任务上面临“邻居爆炸#xff08;Neighbor Explosion#xff09;”问题#xff0c;导致网络… 论文笔记整理杨海宏浙江大学博士生研究方向为开放世界下的多语言知识问答。 1. 简介受显存的因素限制应用图神经网络于大规模图学习任务上面临“邻居爆炸Neighbor Explosion”问题导致网络深度局限于少数几层否则指数爆炸计算量过大等问题。前人工作提出了众多基于采样邻居节点的方法并利用多类型的聚合函数提高魔性的表达能力。 这篇文章提出一种全新的采样方法以改进图卷积网络GCN的训练方式从而提高模型的训练效率和准确率。一言以蔽之这篇文章从原图中采样子图在结果子图上使用GCN学习。 图1GraphSAINT 训练方案。来源原论文 GraphSAINT 的算法流程如下图所示。其中变量SAMPLE主要有两点要求。1相互影响较大的节点应在同一子图中采样。2每条边的采样概率均不可忽略。对于要求1理想的SAMPLE要求衡量节点连接的联合信息以及属性。但这种算法可能具有很高的复杂度所以为简单起见我们从图连接性角度定义“影响力”并设计基于拓扑的采样器。要求2可使神经网络能够探索整个特征和标签空间。 2. 子图采样作者认为保留图连通性特征的采样器几乎不可避免地会在小批量估计中引入偏差。因此作者引入自行设计的归一化技术以消除偏差。其中的重点是估计每个节点、边、子图的采样概率l 节点的采样概率分布为 l 边的采样概率分布为 l 子图的采样概率分布为 其中 3. 实验结果 实验部分作者展示了这篇文章提出的子图采样方式可以灵活地集成到图神经网络模型中并取得超越前人的表现。这极大地刷新了学界对于图神经网络使用方式的认知是一篇值得深入研究的论文。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
