#

Wasserstein GAN (WGAN-GP) 的梯度惩罚

WGAN 建议削减权重以对鉴别器网络强制执行 Lipschitz 限制（评论家）。这个和其他权重约束，如L2标准削减、权重标准化、L1、L2权重衰减都有问题：

1.限制鉴别器的容量 2.分解和消失渐变（不带批量归一化）。

论文《改进了 Wasserstein GaN 的训练》提出了改进 Lipschitz 约束的更好方法，即梯度惩罚。

$L_{GP} = λ \overset{x}{^} \sim P_{\overset{x}{^}} E [(∥ \nabla_{\overset{x}{^}} D (\overset{x}{^}) ∥_{2} - 1)^{2}]$

惩罚重 $λ$ 量在哪里

x z ϵ \tilde{x} \overset{x}{^} \sim P_{r} \sim p (z) \sim U [0, 1] \leftarrow G_{θ} (z) \leftarrow ϵ x + (1 - ϵ) \tilde{x}

也就是说，我们尽量保持梯度范 $∥ \nabla_{\overset{x}{^}} D (\overset{x}{^}) ∥_{2}$ 数接近 $1$ 。

在这个实现中，我们设置 $ϵ = 1$ 。

以下是使用梯度惩罚的实验的代码。

46import torch
47import torch.autograd
48
49from labml_helpers.module import Module

#

梯度惩罚

52class GradientPenalty(Module):

#

x 是 $x \sim P_{r}$

f 是

D (x)

$\overset{x}{^} \leftarrow x$ 因为我们 $ϵ = 1$ 为这个实现做好了准备。

57    def forward(self, x: torch.Tensor, f: torch.Tensor):

#

获取批次大小

67        batch_size = x.shape[0]

#

计算 $D (x)$ 相对于的梯度 $x$ 。grad_outputs 设置为 1，因为我们想要梯度 $D (x)$ ，我们需要创建和保留图形，因为我们必须计算相对于此损失的权重的梯度。

73        gradients, *_ = torch.autograd.grad(outputs=f,
74                                            inputs=x,
75                                            grad_outputs=f.new_ones(f.shape),
76                                            create_graph=True)

#

重塑梯度以计算范数

79        gradients = gradients.reshape(batch_size, -1)

#

计算常数 $∥ \nabla_{\overset{x}{^}} D (\overset{x}{^}) ∥_{2}$

81        norm = gradients.norm(2, dim=-1)

#

退还损失 $(∥ \nabla_{\overset{x}{^}} D (\overset{x}{^}) ∥_{2} - 1)^{2}$

83        return torch.mean((norm - 1) ** 2)