湖北省建设工程造价管理协会网站,wordpress中文主题框架,手工制作房子硬纸板,织梦网站案例在正式开始前#xff0c;先找准图神经网络GNN(Graph Neural Network)的位置。 图神经网络GNN是深度学习的一个分支。
深度学习的四个分支对应了四种常见的数据格式#xff0c;前馈神经网络FNN处理表格数据#xff0c;表格数据可以是特征向量#xff0c;卷积神经网络CNN处理…在正式开始前先找准图神经网络GNN(Graph Neural Network)的位置。 图神经网络GNN是深度学习的一个分支。
深度学习的四个分支对应了四种常见的数据格式前馈神经网络FNN处理表格数据表格数据可以是特征向量卷积神经网络CNN处理图像数据循环神经网络RNN处理时序数据图神经网络GNN处理图数据。
这里的FNN指的是如下图所示的带有输入层隐藏层输出层的网络。 但这四种对应关系并不是一成不变。
如果将图像拉直成向量同样可以用FNN来处理。
声音文本这类时序数据用RNN类型的网络最适合但如果你把一个句子当作一个1*N的矩阵那就可以用CNN处理了只不过CNN需要堆叠多个层来抓取时序数据中的上下文信息这在图像领域被称为感受野。
注意虽然可以通过一定的技巧把句子表示成矩阵然后用CNN处理,但从本质上来说,CNN还是不如RNN更适合处理时序数据。
如果将图像划分成patch这些pathces组成序列同样也可以用Transformer处理这就是Vision TransformerViT。
而今天要讲的GNN既能处理表格数据又能处理图像文本。
更准确地说只要能表示成GNN兼容的图数据结构就能用GNN处理。
今天的文章来自distill发布的一篇博文A Gentle Introduction to Graph Neural Networks。
网址https://distill.pub/2021/gnn-intro/
B站沐神视频讲解https://www.bilibili.com/video/BV1iT4y1d7zP/?spm_id_from333.999.0.0这篇文章写的非常好亮点是不光有交互式图表还有PlayGround可见作者是下了一番功夫的。
先科普一下什么是Playground
Playground通常指在机器学习和人工智能领域用来交互式体验和可视化AI模型的一种系统或平台。
下面展示两个AI Playground。 NVIDIA NGC或者Hugging face上有更多好玩的AI Playground大家可以亲自去体验一下。
https://huggingface.co/
https://catalog.ngc.nvidia.com/A Gentle Introduction to Graph Neural Networks https://distill.pub/2021/gnn-intro/ 但我不会将上面的文章原样照搬过来而是进行概括性的总结大家一定一定去阅读原文因为原文里有大量的交互式图表和Playground能加速对GNN的理解。
今天的主角是GNN而GNN处理的对象是图Graph。跟其它神经网络一样在其出现之前都有传统的方法来处理对应的数据结构。
但是在数据量和算力的加持下为了完成更复杂的任务对应的神经网络应运而生GNN也是如此。
后续内容主要分为四部分
1.什么样的数据可以很自然的表示成图 2.图与其它类型数据的不同之处以及如何应对这种不同 3.构建一个GNN 4.构建一个Playground在真实数据上进行训练
什么是图
图是由节点和边组成的,用于表示对象之间关系的数据结构。
图也分为有向图和无向图例如社交媒体中如果互相关注了则是无向图如果像B站这样我关注了你但你并没有关注我则是有向图。 节点有自己的属性边有自己的属性整个图也有自己的属性如上图属性可以用标量或者向量表示。向量大小可以不一致。
前面已经透漏了GNN可以处理图像和文本那么图像和文本就可以表示成图。
先透露一下计算机如何存储图一种是邻接矩阵一种是邻接表。
图像的每个像素即是一个节点节点的属性自然就是RGB值相邻像素之间用一条边来表示相邻关系这里用邻接矩阵来表示连接性。 同理一个句子中每个字符每个单词每个Token都可以看作是一个节点相邻节点之间可以用一条有向边相连这就构成了一个有向图。 除此之外还有很多其它数据可以表示成图。
分子由两个或多个原子通过共用电子对构成化学键而连接成一个整体分子之间不同的连接方式构成了不同的物质。 社会是一个大家庭所有成员和之间的关系构成了一个复杂的社交网络。 如果能够充分利用这个网络就能发挥巨大价值例如知识图谱推荐系统。
引用关系也可以组织成图例如维基百科中每个网页都会列出引用资料。
好了到此我们已经能够把很多事物表示成图的形式这样就够用GNN来处理了那到底能干什么呢
GNN主要能处理三种类型的任务。
图层面任务
对图的整体进行预测GNN输出对整个图的预测属性例如下图中分辨出具有两个环的图这就是一个针对整个图的分类任务。 对于图像和文本而言图层面的任务类似于MINIS数字分类或者句子情感分析例如。判断一个句子表达的是正向情绪还是负面情绪。
顶点层面任务
GNN预测图中每一个节点的属性例如下图预测社交网络中的成员是否是诈骗分子。这就是一个节点分类任务。 对于图像和文本而言顶点层面的任务类似于图像分割图像分割不就是对每个像素分类嘛对于文本就是预测句子中每个单词的词性例如名词、动词、副词等。
边层面任务
边的存在与否是一种结构属性也就是连接性GNN也可以预测图中边的非结构属性什么是非结构属性对于一个社交网络而言边代表节点之间有关系但如何度量亲疏程度呢这就涉及边的非结构属性了。
预测亲疏程度是一个回归任务下图则是一个分类任务每一条边只能是watchingfightingstanding on中的一种。 后面我们会看到这三类任务可以用一个统一的GNN网络解决。
GNN所面对的挑战
前面对于节点边图的属性预测GNN都能处理但对于节点之间的连接性预测却是一种挑战前面说过用邻接矩阵来表示连接性当节点数增加矩阵会变得非常稀疏内存利用率很低
例如下图仅有四个节点的随机组合对应的邻接矩阵就非常庞大了。
何况更多节点呢 另外当你将矩阵转置后GNN输出结果不应该改变因为转置没有改变节点之间的关系。 为了解决邻接矩阵带来的挑战邻接列表应运而生。 到此我们已经扫清了所有障碍接下来我们就构建一个简单的分类网络来看看GNN是如何做预测的 前面我们说过节点边图的属性就是一堆向量也就是前面说的表格数据处理向量用MLP就可以了当然你也可以用其他网络如上图节点边图各有一个MLP所有点参数共享也就是所有点共用一个MLP所有边共用一个MLP。
另外Layner n1与上一层相比图的连接性没变只改变了属性。也就是可以继续使用初始的邻接链表。
上图构成了一个GNN block也叫做GNN层类似CNN中的卷积层多个GNN 层可以进行累加形成更复杂的网络。
有了GNN block如果要构建一个节点二分类任务那么用下面这个网络就够了。 但是如果一个图只有边有信息而节点没有存储信息又要对节点进行分类该怎么办
此时就需要把边的信息利用起来了这被称为信息聚合。 如上图当对一个节点进行预测时将所有与其相连的边的信息聚合起来作为节点的属性。
聚合操作可以时平均值最大值总和。
所以有了信息聚合后如果只有边的属性要对节点分类网络结构如下 同理有了信息聚合后如果只有节点信息要对边分类网络结构如下 有了信息聚合后只有节点信息对图分类 最终的GNN结构如下 有了信息聚合就能构建更复杂的GNN网络这个网络不仅能二分类同样适用于多分类问题。
但是你发现没上面这个简单的GNN网络并没有利用连接性信息每个节点以及每条边和全局上下文都是独立处理的。只有在聚合信息进行预测时才使用连接性。
所以我们可以更进一步的利用聚合信息操作这样就能进行更复杂的预测。
那么该怎么做呢
我们可以使用消息传递的方法来实现这一点即相邻节点或边之间交换信息并影响彼此更新的嵌入。 如上图也就是在处理当前节点时把相邻节点的信息聚合过来。
这跟卷积操作有点像一个特征图的像素对应上一层的一个相邻区域。 有了信息传播操作后我们的GNN网络更新如下
节点层面任务 边层面任务 图层面任务 最后展示了一个Playground可以改变网络的层数聚合操作类型以及各个属性向量的长度可以通过最终的模型性能来展示各个参数的影响。 参考资料
[1]https://distill.pub/2021/gnn-intro/ [2]https://www.bilibili.com/video/BV1iT4y1d7zP/?spm_id_from333.999.0.0
