#

位置前馈网络 (FFN)

这是变压器中使用的按位置前馈网络的 PyTorch 实现。

FFN 由两个完全连接的层组成。隐藏层中的维度数 $d_{f f}$ ，通常设置为令牌嵌入的四倍左右 $d_{m o d e l}$ 。因此，它有时也被称为扩张和收缩网络。

隐藏层有一个激活，通常设置为RelU（整流线性单元）激活， $max (0, x)$

也就是说，FFN 函数是、 $FFN (x, W_{1}, W_{2}, b_{1}, b_{2}) = max (0, x W_{1} + b_{1}) W_{2} + b_{2}$ 其中 $W_{1}$ $W_{2}$ 、 $b_{1}$ 和 $b_{2}$ 是可学习的参数。

有时还会使用 GELU（高斯误差线性单位）激活来代替 RelU。 $x Φ (x)$ 在哪里 $Φ (x) = P (X \leq x), X \sim N (0, 1)$

门控线性单元

这是一个通用实现，支持不同的变体，包括门控线性单元 (GLU)。我们还对以下方面进行了实验：

38import torch
39from torch import nn as nn
40
41from labml_helpers.module import Module

#

FFN 模块

44class FeedForward(Module):

#

d_model 是令牌嵌入中的要素数量
d_ff 是 FFN 隐藏层中的要素数量
dropout 是隐藏层的丢失概率
is_gated 指定隐藏层是否为门控
bias1 指定第一个完全连接的层是否应该有可学习的偏差
bias2 指定第二个完全连接的层是否应该有可学习的偏差
bias_gate 指定门的全连接层是否应具有可学习的偏差

49    def __init__(self, d_model: int, d_ff: int,
50                 dropout: float = 0.1,
51                 activation=nn.ReLU(),
52                 is_gated: bool = False,
53                 bias1: bool = True,
54                 bias2: bool = True,
55                 bias_gate: bool = True):

#

65        super().__init__()

#

第一层按权重 $W_{1}$ 和偏差进行参数化 $b_{1}$

67        self.layer1 = nn.Linear(d_model, d_ff, bias=bias1)

#

第一层按权重 $W_{1}$ 和偏差进行参数化 $b_{1}$

69        self.layer2 = nn.Linear(d_ff, d_model, bias=bias2)

#

隐藏图层丢失

71        self.dropout = nn.Dropout(dropout)

#

激活功能 $f$

73        self.activation = activation

#

是否有门

75        self.is_gated = is_gated
76        if is_gated:

#

如果有门，则转换输入的线性层将乘以门，并通过权重 $V$ 和偏置进行参数化 $c$

79            self.linear_v = nn.Linear(d_model, d_ff, bias=bias_gate)

#

81    def forward(self, x: torch.Tensor):

#

$f (x W_{1} + b_{1})$

83        g = self.activation(self.layer1(x))

#

如果是封闭的， $f (x W_{1} + b_{1}) \otimes (x V + b)$

85        if self.is_gated:
86            x = g * self.linear_v(x)

#

否则

88        else:
89            x = g

#

申请退学

91        x = self.dropout(x)

#

$(f (x W_{1} + b_{1}) \otimes (x V + b)) W_{2} + b_{2}$ 或者 $f (x W_{1} + b_{1}) W_{2} + b_{2}$ 取决于它是否有门控

94        return self.layer2(x)