qq群引流推广网站,网站建设中 gif,怎样学习做网站,1688黄页网品种大全2024图1#xff1a;来自(Bruna等人#xff0c;ICLR#xff0c;2014)的图#xff0c;描绘了3D领域内的MNIST图像。虽然卷积网络很难对球面数据进行分类#xff0c;但是图网络可以很自然地处理它。可以把它当做是一个处理工具#xff0c;但在实际应用程序中会出现许多类似的任务… 图1来自(Bruna等人ICLR2014)的图描绘了3D领域内的MNIST图像。虽然卷积网络很难对球面数据进行分类但是图网络可以很自然地处理它。可以把它当做是一个处理工具但在实际应用程序中会出现许多类似的任务。来源AI科技评论翻译栗峰最近Graph Neural NetworkGNN在很多领域日益普及包括社交网络、知识图谱、推荐系统甚至于生命科学。GNN在对节点关系建模方面表现十分突出使得相关的研究领域取得了一定突破。本文将就“为什么图有用”、“为什么很难在图上定义卷积”、“是什么使神经网络成为了图神经网络”这些问题进行讨论。首先让我们简单回顾一下什么是图图 G 是由有向或无向边连接的一组节点(顶点)。节点和边通常是由专家依据知识经验或是对问题的直觉进行设置的。因此它可以是分子中的原子社交网络中的用户交通系统中的城市团队运动中的运动员大脑中的神经元动态物理系统中的交互对象图像中的像素、图像边界框或是图像分割掩模。换句话说在很多情况下实际上是由你来决定图的节点和边。这是一种很灵活的数据结构它囊括了很多其他的数据结构。例如如果没有边那么它就会变成一个集合如果只有“垂直”边其中任意两个节点都相连那么我们就有了一个数据树。当然正如我们接下来将要讨论的这种灵活性有利也有弊。图2两个分别有5和6个节点的无向图节点的顺序是任意的。一为什么图有用在计算机视觉(CV)和机器学习(ML)的背景下研究图以及学习当中的模型至少可以给我们带来以下四个好处1. 我们可以有机会解决以前解决不了的难题例如癌症药物发现(Veselkov等人Nature2019年)更好地理解人脑结构(DiezSepulreNature2019)能源和环境友好材料的发现(Xie等人Nature Communications2019年)。2. 在大多数CV/ML应用程序中你可能曾经把它们看成是另一种数据结构但数据实际上可以被看作是图。将数据表示成图可以提供很大的灵活性并能在你处理问题的时候为你提供截然不同的视角。例如你可以直接从“超像素”中学习而不必从图像像素中学习在Liang等人2016年在ECCV发表的论文以及我们即将发表的BMVC论文都可以找到依据。图还允许你对数据施加关系归纳偏差能使你在处理问题时具备一些先验知识。例如如果你想对人体的姿势进行推理你的关系偏差就可以是人体骨架关节的图 (Yen等人AAAI2018)或者如果你想对视频进行推理你的关系偏差可以是移动边框的图 (WangGuptaECCV2018)。另一个例子是可以将面部标志表示为图 (Antonakos等人CVPR2015)以便对面部特征和身份进行识别。3. 神经网络本身可以看作是一个图其中节点是神经元边是权重或者节点是层边表示向前/向后传递的流程(在这种情况下我们讨论的是在TensorFlow中使用计算图、PyTorch和其他DL框架)。应用程序可以是计算图的优化、神经结构搜索和训练行为分析等。4. 最后一点你可以更高效的解决很多问题在这些问题中数据可以更自然地表示成图。 这包括但又不限于分子和社会网络分类Knyazev等人NeurIPS-W20183D Mesh的分类及对应Fey等人CVPR 2018动态交互对象的建模行为Kipf等人ICML2018视景图建模详见即将到来的ICCV研讨会和问答Narasimhan NeurIPS2018程序综合Allamanis等人ICLR2018不同的强化学习任务Bapst等人ICML2019和许多其他问题。我之前的研究是关于人脸识别和分析面部情绪所以我很欣赏下面这个图。图3来自(Antonakos等人CVPR2015)的图将脸部标志提取出来。这是一种有趣的方法但在很多情况下它并不能全面的表示出一个人的面部特征因此可以通过卷积网络从面部纹理中出捕捉到更多信息。相反与2D标志相比基于人脸的3D网格的推理看起来更合理(Ranjan等人ECCV2018)。二为什么很难在图上定义卷积要回答这个问题首先要理清一般使用卷积的动机然后用图术语描述“图像上的卷积”这将使“图卷积”的过渡更加流畅。1. 为什么卷积有用我们应该理解为什么我们要注意到卷积以及为什么我们要用它来处理图与完全连接的神经网络NNS或MLP)相比卷积网络(CNN或Convnet)具有一定的优势。图4首先Convnet利用图像中的一种自然先验在Bronstein等人在2016年发布的论文中有了更正式的描述例如 1平移不变性如果我们将上面图像上的汽车平移到左/右/上/下我们仍然能够认识到它是一辆汽车。这是通过在所有位置共享滤波器来实现的也就是应用卷积。 2局域性附近的像素是密切相关的通常表示一些语义概念如车轮或车窗。这是通过使用相对较大的滤波器来实现的它可以捕捉到局部空间邻域中的图像特征。 3组合性(或层次结构)图像中较大的区域通常都包含了较小区域的语义父级。例如汽车是车门、车窗、车轮、驾驶员等的母体而司机则是头部、手臂等的母体。这是通过叠加卷积层和应用池进行的隐含表达。其次卷积层中可训练参数(即滤波器)的数目并不取决于输入维数因此在技术上我们可以在28×28和512×512图像上训练完全相同的模型。换句话说模型是参数化的。理想情况下我们的目标是开发一个像图神经网络一样灵活的模型它可以消化和学习任何数据但同时我们希望通过打开或关闭某些先验来控制(正则)这种灵活性的元素。所有这些良好的特性使得ConvNet不太容易过度拟合(训练集的高精度和验证/测试集的低精度)在不同的视觉任务中更精确并且易于扩展到大型图像和数据集。因此当我们想要解决输入数据是图结构的重要任务时将这些属性全部转移到图神经网络(GNN)上以规范它们的灵活性并使它们具有可扩展性。理想情况下我们的目标是开发一个像GNN一样灵活的模型可以消化和学习任何数据但同时我们希望通过打开或关闭某些先验来控制(正则化)这种灵活性的元素。这可以在很多创新的方向上进行研究。然而想要控制它并且达到一种平衡状态还是很有挑战性的。2. 根据图进行图像卷积我们先来考虑一下具有N个节点的无向图G边E表示节点之间的无向连接。节点和边通常是由你自己设定的。关于图像我们认为节点应该是像素或超像素(一组形状怪异的像素)边是它们之间的空间距离。例如左下方的MNIST图像通常表示为28×28维矩阵。我们也可以用一组N28*28784像素来表示它。因此我们的图G应该有N784个节点而对于位置较近的像素边会有一个较大的值(下图中较厚的边)对于较远的像素则相应的有较小的值(较薄的边)。图5左侧是MNIST数据集的图像右侧是图的示范。右侧较暗和较大的节点对应较高的像素强度。右图的灵感来自图6Fey等人CVPR2018当我们在图像上训练神经网络或Convnet时潜意识里我们在图上就已经将图像定义成了一个规则的2D网格如下图所示。这个网格对于所有的训练和测试图像是相同且规则的也就是说网格的所有像素都以完全相同的方式在所有图像之间连接(即具有相同的连接数、边缘长度等)所以这个规则的网格图没办法帮我们从一幅图像中分辨出另一幅图像。下面我可视化了一些2D和3D规则网格其中节点的顺序是彩色编码的。顺便说一句我是在Python代码中使用了NetworkX来实现的例如Gnetworkx.Grid_Graph([44])。图6规则的2D和3D网格的例子。图像在2D网格上的表现视频在3D网格上的表现。考虑到这是个4×4的规则网格我们可以简单地看看2D卷积是如何工作的就可以理解为什么很难将算子转换成图。规则网格上的滤波器具有相同的节点级但现代卷积网络通常有小滤波器例如下面的例子中的3×3。这个滤波器有9个值W₁W₂…W₉这是由于我们在训练过程中使用了backprop工具进行更新以尽量减少损失和解决下游任务的问题。在下面的例子中我们只是受到启发将滤波器初始化成了边缘检测器(请参阅这里的其他可能的滤波器)图7在规则2D网格上的3×3滤波器的例子左侧是任意权值w右侧是边缘检测器。当我们进行卷积的时候要从两个方向滑动这个滤波器向右和向下可以从底角开始重要的是要滑过所有可能的位置。在每个位置计算网格上值之间的点积(表示为X)和滤波器的值WX₁W₁X₂W₂…X₉W₉并将结果存储在输出图像中。在我们的可视化过程中改变节点在滑动过程中的颜色以匹配网格中节点的颜色。在常规网格中我们始终将滤波器的节点与网格的节点相匹配。但这并不适用于图我将在下面进行解释。图8规则网格上2D卷积的2个步骤。如果我们不应用填充的话一共会有4个步骤因此结果是2×2图像。为了使得到的图像更大我们需要应用填充。在这里请参阅关于深度学习中卷积的全面指南。上面使用的点积就是所谓的“聚合算子”之一。广义上来讲聚合算子的目标是将数据归纳成简单的形式。在上面的例子中点积将一个3×3矩阵概括为单个值。另一个例子是在Convnet中进行数据汇总。请记住诸如最大值或和总计值的位置是不变的也就是说即使随机地移动该区域内的所有像素它们还是会在空间区域内汇总成相同的值。为了说明这一点点积不是置换不变的因为在一般情况下X₁W₁X₂W₂≠X₂W₁X₁W₂。现在让我们使用MNIST图像来定义规则网格、滤波器和卷积。考虑到我们的图术语这个规则的28×28网格将是我们的图G因此这个网格中的每个单元都是一个节点节点特征是一个实际的图像X也就是说每个节点只有一个特征像素强度从0(黑色)到1(白色)。图9规则28×28网格(左)和该网格上的图像(右)。接下来我们要定义滤波器并让它成为具有 (几乎)任意参数的著名Gabor滤波器。一旦我们有了图像和滤波器我们就可以通过在图像上滑动滤波器 (在我们的例子中是数字7)并在每一步之后将点积的结果放到输出矩阵中来执行卷积。图10一个28×28滤波器(左)和该滤波器与数字7图像的2D卷积结果。(右)正如我前面提到的当你尝试将卷积应用到图时就会遇到很多问题。节点是一个集合该集合的任何排列都不会改变它。因此人们应用的聚合算子应该是置换不变的.正如我前面提到的用于计算每一步卷积的点积对顺序是敏感的。这种灵敏度使我们能够学习与Gabor滤波器相似的边缘检测器这对于捕获图像特征非常重要。问题在于在图中没有明确定义的节点顺序除非你学会给它们排序或者想出其他一些启发式的方法能在图与图之间形成规范的顺序。简而言之节点是一个集合该集合的任何排列都不会改变它。因此人们应用的聚合算子应该是置换不变的.最受欢迎的选择是平均值(GCN、KipfWling、ICLR2017)和对所有相邻数值求和(GIN、XU等人、ICLR2019)也就是求和或均值池然后由可训练向量W进行推测其他聚合器参见Hamilton等人NIPS, 2017。图11说明节点特征X的“图卷积”滤波器W以节点1(深蓝色)为中心。例如左侧的图节点1的求和聚合器的输出为X₁(X₁X₂X₃X₄)W₁节点2X₂(X₁X₂X₃X₅)W₁等即我们需要对所有节点应用此聚合器。因此我们将得到具有相同结构的图节点现在包含了所有邻值的功能。我们可以用同样的方法处理右边的图。通俗地说人们称这种平均或求和为“卷积”因为我们也是从一个节点“滑动”到另一个节点并在每一步中应用聚合算子。但是重要的一点这是一种非常特殊的卷积形式在这里滤波器没有方向感。下面我将展示这些滤波器的外观并给出如何使它们更好的建议。三是什么使神经网络成为了图神经网络你应该知道典型的神经网络是怎么工作的我们将C维特征X作为网络的输入。用我们正在运行的MNIST举例X将是我们的C784维像素特征(即“扁平”图像)。这些特征乘以我们在训练过程中更新的C×F维度权值W使输出能更接近我们预期的结果。这个结果可以直接用于解决任务(例如在回归的情况下)也可以进一步反馈到一些非线性(激活)如relu或其他可微分(或更准确地说是次微分)函数从而形成多层网络。一般来说l 层的输出是图12全连通层具有可学习权值W。“完全连接”是指X⁽ˡ⁺1 1⁾中的每个输出值取决于或“连接到”所有输入X⁽ˡ⁾。通常情况下虽然也不总是这样但我们在输出中添加了一个偏差项。MNIST中的信号非常强只要使用上面的公式和交叉熵损失精准度就可以达到91%以上而且不需要任何非线性和其他技巧(我是使用了一个略微修改过的PyTorch代码做到了这一点)。这种模型称为多项式(或多类因为我们有10类数字)Logistic回归。现在如何将我们的神经网络转换成图神经网络正如你已经知道的GNN背后的核心思想是聚合“邻值”。在这里重点是要理解在很多情况下实际上是你指定了“邻值”。让我们先来考虑一个简单的情况当你得到一些图。例如这可以是5人的社交网络的一个片段(子图)节点之间的边缘表示两个人是否是朋友(或者他们中至少有一个人这样认为)。右边图中的邻接矩阵(通常表示为A)是一种以矩阵形式表示这些边的方法便于构建我们的深度学习框架。矩阵中的黄色代表边缘蓝色代表边缘的缺失。 图13图及其邻接矩阵的例子。我们在这两种情况下定义的节点顺序都是随机的而图仍然是相同的。现在让我们根据像素的坐标为我们的MNIST示例创建一个邻接矩阵A(文章末尾提供了完整的代码)这是定义视觉任务中邻接矩阵的典型方法但并非是唯一的方法(Defferrard等人2016年Bronstein等人2016年)。这个邻接矩阵是我们的先验或者说是我们的归纳偏差我们根据经验施加到模型上应该连接附近的像素远程像素不应该有边缘即使有也应该是非常薄的边缘(小值的边缘)。这是因为我们观察到在自然图像中的邻近像素通常对应于同一个或多个经常交互的对象(我们前面提到的局部性原则)因此连接这些像素很有意义。图14邻接矩阵(NxN)的所有节点对之间的距离(左)和相邻矩阵(中间) (右) 具有16个相邻像素的子图其对应于中间的邻接矩阵。既然它是一个完整的子图它也被称为“集团”。所以现在不是只有特征X还有一些值在[01]范围内的奇特的矩阵A。需要注意的是一旦我们知道输入是一个图我们就假设在数据集中的所有其他图节点的顺序都是一致的。就图像而言这意味着假定像素被随机调整。在实践中想要找到节点的规范顺序是根本无法解决的。尽管对于MNIST来说我们可以通过假定这个顺序来进行操作(因为数据最初来自一个常规网格)但它不适用于实际的图数据集。记住我们的特征矩阵X有?行和C列。因此就图而言每一行对应于一个节点C是节点特征的维度。但现在的问题是我们不知道节点的顺序所以我们不知道应该在哪一行中放置特定节点的特征。如果我们直接忽略这个问题并像以前一样直接将X提供给MLP效果与将每个图像随机打乱像素进行重新组合形成的图像相同令人惊讶的是神经网络在原则上是可以拟合这样的随机数据的(Zhang等人ICLR2017)但是测试性能将接近随机预测。其中一个解决方案是简单地使用前面创建的邻接矩阵A方法如下 图16. 图神经层具有邻接矩阵A输入或输出特征X可学习权值W。我们只需要确保A中的第一行对应于X的第一行中节点的特征。这里我使用的是?而不是普通的A因为你想将A规范化如果?A矩阵乘法?X⁽ˡ⁾将等价于邻值的求和特征这在许多任务中都是有用的(Xu等人ICLR2019)。最常见的情况是你将其规范化使?X⁽ˡ⁾具有平均邻值的特性即?A/ΣᵢAᵢ。规范矩阵A的更好方法可在(KipfWlingICLR2017)中找到。以下是NN和GNN在PyTorch代码方面的比较这里有完整的PyTorch代码训练上面的两个模型Pythonmnist_fc.py-model fc训练NN模型python mnist_fc.py-模型图训练GNN模型。作为一个练习可以尝试在模型图中随机打乱代码中的像素(不要忘记以同样的方式对A进行调整)并确保它不会影响结果。对-FC模式的模型来说会是可行的吗运行代码后你可能会注意到在分类的准确性上实际上是相同的。那还有什么问题吗图形网络不应该运行得更好吗其实在大多数情况下它们都是可以正常运行但是在这个例子中出现了特殊情况因为我们添加的?X⁽ˡ⁾运算符实际上就是一个高斯滤波器图17图神经网络中滤波器的2D可视化及其对图像的影响。我们的图神经网络被证明是等同于具有单个高斯滤波器的卷积神经网络在训练过程中我们从不更新然后是完全连接的层。这个滤波器基本上显示模糊或是清晰的图像这并不是一件特别有用的事情(见上图右边)。然而这是图神经网络的最简单的变体尽管如此它在图结构的数据上仍然运行得很好。为了使GNN更好地在规则图上工作比如图像我们需要应用一些技巧。例如我们可以通过使用如下可微函数来学习预测任意一对像素之间的边而不是使用预定义的高斯滤波器为了使GNN更好地在规则图上工作比如图像我们需要应用一些技巧。例如我们可以通过使用如下可微函数来学习预测任意一对像素之间的边而不是使用预定义的高斯滤波器。这一想法类似于动态滤波器网络(Brabander等人NIP2016年)、边缘条件图网络(ECC、SimonovskyKomodakis、CVPR2017)和(Knyazev等人NeurIPS-W2018)。如果想用我们的代码进行尝试只需要添加-pred_Edge标志所以完整的指令就是python mnist_fc.py --model graph --pred_edge。下面我展示了预定义的高斯滤波器和学习滤波器的动画。你可能会注意到我们刚刚学到的滤波器(在中间)看起来很奇怪。这是因为任务相当复杂我们同时优化了两个模型预测边缘的模型和预测数字类的模型。为了更好的学习滤波器(如右图所示)我们需要从BMVC论文中应用一些其他技巧这已经超出了这个教程范畴。图18以红点为中心的2D神经网络滤波器。平均(左92.2 4%)坐标学习(中91.05%)坐标学习(右92.39%)。生成这些GIF的代码非常简单我还分享了一个IPython代码笔记它用Gabor滤波器显示了图像的2D卷积(使用邻接矩阵)而不是使用循环矩阵循环矩阵通常用于信号处理。在本教程的下一部分中我将详解更高级的图层这些图层可以对图进行更好的筛选。四、总结图神经网络是一个非常灵活且有趣的神经网络家族可以应用于非常复杂的数据。当然这种灵活性也要付出一定的代价。在GNN的情况下难以通过将这样的运算符定义为卷积来使模型正规化。但这方面的研究进展很快相信不久会得到完善的解决GNN将会在机器学习和计算机视觉领域得到越来越广泛的应用。via : https://medium.com/BorisAKnyazev/tutorial-on-graph-neural-networks-for-computer-vision-and-beyond-part-1-3d9fada3b80d《崛起的超级智能》一书主要阐述当今天人类为人工智能的春天到来而兴奋为人工智能是否超越人类而恐慌的时候一个更为庞大、远超人类预期的智能形态正在崛起种种迹象表明50年来互联网正在从网状结构进化成为类脑模型数十亿人类智慧与数百亿机器智能通过互联网大脑结构正在形成自然界前所未有的超级智能形式。这个新的超级智能的崛起正在对人类的科技产业、经济军事国家竞争产生重要而深远的影响。作者刘锋 推荐专家张亚勤、刘慈欣、周鸿祎、王飞跃、约翰、翰兹未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
