home graphs gatv2

Github Twitter

View code on Github

#

在 Cora 数据集上训练图注意力网络 v2 (Gatv2)

11import torch
12from torch import nn
13
14from labml import experiment
15from labml.configs import option
16from labml_helpers.module import Module
17from labml_nn.graphs.gat.experiment import Configs as GATConfigs
18from labml_nn.graphs.gatv2 import GraphAttentionV2Layer
#

Graph 注意力网络 v2 (GATv2)

这个图形关注网络有两个图形关注层。

21class GATv2(Module):
#
  • in_features 是每个节点的要素数
  • n_hidden 是第一个图形关注层中的要素数
  • n_classes 是类的数量
  • n_heads 是图表关注层中的头部数量
  • dropout 是辍学概率
  • share_weights 如果设置为 True，则同一矩阵将应用于每条边的源节点和目标节点
28    def __init__(self, in_features: int, n_hidden: int, n_classes: int, n_heads: int, dropout: float,
29                 share_weights: bool = True):
# 
38        super().__init__()
#

我们连接头部的第一个图形注意层

41        self.layer1 = GraphAttentionV2Layer(in_features, n_hidden, n_heads,
42                                            is_concat=True, dropout=dropout, share_weights=share_weights)
#

第一个图形关注层之后的激活功能

44        self.activation = nn.ELU()
#

最后一张图关注层，我们平均头部

46        self.output = GraphAttentionV2Layer(n_hidden, n_classes, 1,
47                                            is_concat=False, dropout=dropout, share_weights=share_weights)
#

辍学

49        self.dropout = nn.Dropout(dropout)
#
  • x 是形状的特征向量[n_nodes, in_features]
  • adj_mat 是形式的邻接矩阵[n_nodes, n_nodes, n_heads] 或[n_nodes, n_nodes, 1] 
51    def forward(self, x: torch.Tensor, adj_mat: torch.Tensor):
#

将丢失应用于输入

58        x = self.dropout(x)
#

第一个图形关注层

60        x = self.layer1(x, adj_mat)
#

激活功能

62        x = self.activation(x)
#

辍学

64        x = self.dropout(x)
#

logits 的输出层（未激活）

66        return self.output(x, adj_mat)
#

配置

由于实验与 GAT 实验相同，但使用 G ATv2 模型，我们扩展了相同的配置并更改了模型。

69class Configs(GATConfigs):
#

是否共享边的源节点和目标节点的权重

78    share_weights: bool = False
#

设置模型

80    model: GATv2 = 'gat_v2_model'
#

创建 GATv2 模型

83@option(Configs.model)
84def gat_v2_model(c: Configs):
# 
88    return GATv2(c.in_features, c.n_hidden, c.n_classes, c.n_heads, c.dropout, c.share_weights).to(c.device)
# 
91def main():
#

创建配置

93    conf = Configs()
#

创建实验

95    experiment.create(name='gatv2')
#

计算配置。

97    experiment.configs(conf, {
#

Adam 优化器

99        'optimizer.optimizer': 'Adam',
100        'optimizer.learning_rate': 5e-3,
101        'optimizer.weight_decay': 5e-4,
102
103        'dropout': 0.7,
104    })
#

开始观看实验

107    with experiment.start():
#

运行训练

109        conf.run()
# 

113if __name__ == '__main__':
114    main()
labml.ai