昆明网站建设优化企业,wordpress 自定义栏目 调用,北京建设招标信息网站,设计素材网站排名同学你好#xff01;本文章于2021年末编写#xff0c;获得广泛的好评#xff01;
故在2022年末对本系列进行填充与更新#xff0c;欢迎大家订阅最新的专栏#xff0c;获取基于Pytorch1.10版本的理论代码(2023版)实现#xff0c;
Pytorch深度学习理论篇(2023版)目录地址…同学你好本文章于2021年末编写获得广泛的好评
故在2022年末对本系列进行填充与更新欢迎大家订阅最新的专栏获取基于Pytorch1.10版本的理论代码(2023版)实现
Pytorch深度学习·理论篇(2023版)目录地址为
CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录本专栏将通过系统的深度学习实例从可解释性的角度对深度学习的原理进行讲解与分析通过将深度学习知识与Pytorch的高效结合帮助各位新入门的读者理解深度学习各个模板之间的关系这些均是在Pytorch上实现的可以有效的结合当前各位研究生的研究方向设计人工智能的各个领域是经过一年时间打磨的精品专栏https://v9999.blog.csdn.net/article/details/127587345欢迎大家订阅(2023版)理论篇 以下为2021版原文~~~~ DGL库是由纽约大学和亚马逊联手推出的图神经网络框架支持对异构图的处理开源相关异构图神经网络的代码在GCMC、RGCN等业内知名的模型实现上也取得了很好的效果。 1 DGL库
1.1 DGL库的实现与性能
实现GNN并不容易因为它需要在不规则数据上实现较高的GPU吞吐量。
1.1.1 DGL库简介
DGL库的逻辑层使用了顶点域的处理方式使代码更容易理解。同时又在底层的内存和运行效率方面做了大量的工作使得框架可以发挥出更好的性能。
1.1.2 DGL库特点
GCMCDGL的内存优化支持在一个GPU上对MovieLens10M数据集进行训练原实现需要从CPU中动态加载数据从而将原本需要24小时的训练时间缩短到1个多小时。
RGCN使用全新的异构图接口重新实现了RGCN。减少了内存开销。
HAN提供的灵活接口可以将一个异构图通过元路径转变成同构图。
Metapath2vec新的元路径采样实现比原实现快2倍。
1.1.3 分子化学的模型库DGL-Chem
该分子库提供包括分子性质预测和分子结构生成等预训练模型以及训练知识图谱嵌入专用包DGL-KE。其中DGL-KE的性能更是出色。
在单GPU上DGL-KE能在7分钟内使用经典的TransE模型训练出FB15K的图嵌入。而GraphVitev0.1.0)在4个GPU上运算需要14分钟。
DGL-KE的首个版本发布了TransE、CompEx和Distmut模型支持CPU训练、GPU训练、CPU和GPU混合训练以及单机多进程训练。
1.2 安装DGL库
1.2.1 查看本地CUDA版本 CMD中输入 nvcc --version 1.2.2 查看版本
CUDA对应的DGL版本查询64位https://conda.anaconda.org/dglteam/linux-64
1.2.3 安装版本 conda install -c dglteam dgl-cuda11.3 1.2.4 卸载DGL
若已经安装了不需要的DGL版本比如0.7.1想替换为0.4.3版本则要删除现有版本 默认删除当前DGLconda uninstall -c dglteam dgl-cuda10.2 cuda10.2可根据自己的环境调整 指定删除版本conda uninstall -c dglteam dgl-cuda10.20.5.0 cuda10.20.5.0可根据自己的环境调整使用 conda list 可以查看使用的当前版本 1.3 DGL库中的数据集
1.3.1 SstStanford sentiment treebank斯坦福情感树库
每个样本都是—个树结构的句子叶顶点表示单词每个顶点还具有情感注释共分为5类非常消极、消极、中立、积极、非常积极
1.3.2 KarateCub
数据集中只有一个图图中的顶点描述社交网络中的用户是否是一家空手道俱乐部中的成员。
1.3.3 CationGraph
顶点表示作者边表示引用关系。
1.3.4 CORA
顶点表示作者边表示引用关系。
1.3.5 CORAFUll
CORA数据集的扩展顶点表示论文边表示论文间的引用关系。
1.3.6 AmazonCoBuy
顶点表示商品边表示经常一起购买的两种商。顶点特征表示产品的评论顶点的类别标签表示产品的类别。
3.7 Coauthor
顶点表示作者边表示共同撰写过论文的关系。顶点特征表示作者论文中的关键词顶点类别标签表示作者的研究领域。
3.8 MiniGCDalaset(即mini graph classification dataset小型图分类数据集
包含8种不同类型的图形包括循环图、星形图、车轮图、棒棒糖图、超立方体图、网格图、集团图和圆形梯形图。
3.9 TUDataset
图形分类中的图形内核数据集。
3.10 GINDataset(即graphLsomorphism network dataset图同构网络数据集
图内核数据集的紧凑子集。数据集包含流行的图形内核数据集的紧凑格式包括4个生物信息学数据集MUTAG、NCH、PROTEINS、PTC和5个社交网络数据集COLAB、IMDBBNARY、MDBMULT、REDDITBINARYREDDITMULT5K)。
3.11 PPIDataset(即protein-protein interaction dataset蛋白质-蛋白质相互作用数据集
数据集包含24个图每个图的平均顶点数为2372每个顶点具有50个要素和121个标签。
3.12 QM7b
由7211个分子组成所有的分子可以回归到14个分类目标。顶点表示原子边表示键。
1.4 DGL库中数据集的加载
在使用时可以通过dg.data库中的数据集类直接进行实例化。 实例化的参数要根据每个数据集类的构造函数的定义进行配置。 代码如下
# 该代码的作用是创建并加载一个同构图数据集。该代码运行后会自动从网络上下载指定的数据集
# 并解压缩然后载入到内存并返回数据集对象dataset。该数据集类与PyTorch的Dataset类兼容。
datasetGINDataset(MUTAG,self-loopTrue) #数据集为MUTAG使用自环图
1.4.1 数据集加载的Tip
dgldata库中的数据集类规划得并不是太好有的类直接裸露在数据下面有的类则被额外封装了一层。
例如CoraDataset类就被封装在citation_graph.py文件中载入时需要编写如下代码
from dgl.data import citation-graph
data citation_graph.corapataset()
该代码在执行时会读取指定的数据集并生成邻接矩阵然后调用NetWorkx模块根据该邻接矩阵生成图以及训练数据集、测试数据集。
因此在使用DGL的数据集时还需要在dgl/data路径下单独查找以库中实际的代码为准。
1.5 DGL库中的图(DGLGraph)
DGLGraph类封装一个特有的图结构可以理解为DGL库的核心DGL库中的大部分图神经网络是基于DGLGraph类实现的。
1.6 DGL库中的内联函数
DGL库提供了大量的内联buit-in)函数这些函数主要用于对边和顶点进行运算处理它们的效率要比普通的图处理函数高很多。
DGL库中的内联函数都放在dgl.function模块下。在使用时要配合DGLGraph图的消息传播机制进行运算。
消息传播机制属于DGL库的底层功能常会在构建图神经网络模型中使用。
如果只使用DGL库中封装好的图神经网络模型那么无须深入了解。 2 PYG库
PyG库是基于PyTorch构建的几何深度学习扩展库可以利用专门的CUDA内核实现高性能。
在简单的消息传递APl之后它将大多数近期提出的卷积层和池化层捆绑成一个统一的框架支持CPU和GPU计算并遵循不变的数据流范式这种范式可以随着时间的推移动态改变图结构。 3 NetWorkx库
NetWorkk是一个用Python语言开发的图论与复杂网络建模工具内置了常用的图与复杂网络分析算法可以方便地执行分析复杂网络数据、仿真建模等任务。
利用NetWorkx可以以标准化和非标准化数据格式存储网络生成多种随机网络和经典网络分析网络结构建立网络模型设计新的网络算法进行网络绘制等。
3.1 NetWorkx库的安装和使用
由于NetWorkx库默认集成在Anaconda软件中因此如果已经安装了Anaconda那么可以直接使用NetWorkx库。
3.2 查询NetWorkx库的版本
import networkx
print(networkx.__version__)
# 2.7.1
3.3 NetWorkx库支持的图结构
Graph无多重边无向图。DiGraph无多重边有向图。MultiGraph有多重边无向图。MuliDiGraph有多重边有向图。
3.4 NetWorkx库中的图数据对象
NetWorkx库中的图数据对象可以通过nx.generate_graphml接口转化成graphm/文件格式的字符串。该字符串是以生成器形式存储的每一个子图为生成器中的一个元素。
import networkx as nxG nx.path_graph(4)
print(list(nx.generate_graphml(G)))
在该代码执行后会输出graphml文件格式的图数据对象具体如下 [graphml xmlnshttp://graphml.graphdrawing.org/xmlns xmlns:xsihttp://www.w3.org/2001/XMLSchema-instance xsi:schemaLocationhttp://graphml.graphdrawing.org/xmlns http://graphml.graphdrawing.org/xmlns/1.0/graphml.xsd, graph edgedefaultundirected, node id0 /, node id1 /, node id2 /, node id3 /, edge source0 target1 /, edge source1 target2 /, edge source2 target3 /, /graph, /graphml] 通过graphml文件格式的描述实现图数据的文本形式显示可以通过直接修改graphml文件的内容完成对图数据的维护比使用接口函数的方式更直接也更灵活。
3.4.1 graphml文件的持久化
使用nx_writegraphm接口可输出内存中的图对象待编辑好之后使用nx.read_graphml接口将文件加载到内存中。
3.4.2 graphml文件的打开方式
graphml的文件使用的是xml格式可以用yEd Graph Edtor软件打开
