ワッサースタイン GAN (WGAN)

これはワッサースタイン GAN の実装です。

元のGAN損失は、実際の分布と生成された分布の間のジェンセン・シャノン（JS）の相違に基づいています。${\mathbb{P}}_r$ ${\mathbb{P}}_g$Wasserstein GANは、これらの分布間のアースムーバーの距離に基づいています

。

$$W({\mathbb{P}}_r,{\mathbb{P}}_g)=\underset{\gamma \in \Pi ({\mathbb{P}}_r,{\mathbb{P}}_g)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }\Vert x-y\Vert$$

$\Pi ({\mathbb{P}}_r,{\mathbb{P}}_g)$は、限界確率が以下のすべての共同分布の集合です。$\gamma (x,y)$

${\mathbb{E}}_{(x,y)\sim \gamma }\Vert x-y\Vert$は特定の関節分布におけるアースムーバー距離 ($x$および確率) $y$ です。

したがって$W({\mathbb{P}}_r,\mathbb{P}g)$、${\mathbb{P}}_r$実際の分布と生成された分布の間の任意のジョイント分布における最小地球移動距離に等しくなります。${\mathbb{P}}_g$

この論文は、2つの確率分布の差に対するジェンセン・シャノン（JS）ダイバージェンスやその他の測定値がスムーズではないことを示しています。したがって、（パラメータ化された）確率分布の1つで勾配降下を行っても収束しません

。

カントロヴィッチとルビンスタインの二元性に基づいて、$$W({\mathbb{P}}_r,{\mathbb{P}}_g)=\underset{\Vert f{\Vert }_L\le 1}{\sup }{\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f(x)]-{\mathbb{E}}_{x\sim {\mathbb{P}}_g}[f(x)]$$

$\Vert f{\Vert }_L\le 1$1-Lipschitz関数はどこにありますか。

つまり、$${\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f(x)]-{\mathbb{E}}_{x\sim {\mathbb{P}}_g}[f(x)]$$すべての1-Lipschitz関数の中で最大の差に等しいということです。

$K$-リップシッツ機能の場合、$$W({\mathbb{P}}_r,{\mathbb{P}}_g)=\underset{\Vert f{\Vert }_L\le K}{\sup }{\mathbb{E}}_{x\sim {\mathbb{P}}_r}[\frac{1}{K}f(x)]-{\mathbb{E}}_{x\sim {\mathbb{P}}_g}[\frac{1}{K}f(x)]$$

すべての $K$-Lipschitz 関数を $f_w$ where $f$ を次のようにパラメーター化して表現できるとしたら、$w\in \mathcal{W}$

$$K\cdot W({\mathbb{P}}_r,{\mathbb{P}}_g)=\underset{w\in \mathcal{W}}{\max }{\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f_w(x)]-{\mathbb{E}}_{x\sim {\mathbb{P}}_g}[f_w(x)]$$

$({\mathbb{P}}_g)$$$g_{\theta }(z)$$$z$ジェネレータで表され、既知の分布からのものであれば$z\sim p(z)$、

$$KcdotW({\mathbb{P}}_r,{\mathbb{P}}_{\theta })=\underset{w\in \mathcal{W}}{\max }{\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f_w(x)]-{\mathbb{E}}_{z\sim p(z)}[f_w(g_{\theta }(z))]$$

$g_{\theta }$これで収束させるには、${\mathbb{P}}_r$$\theta$上記の式を最小化するように勾配降下できます。

同様に、${\max }_{w\in \mathcal{W}}$$K$境界を保ちながら上昇することで見つけることができます。$w$

$K$境界を維持する1つの方法は、$f$ある範囲内でクリッピングを定義するニューラルネットワーク内のすべてのウェイトをクリップすることです。

これを簡単な MNIST 生成実験で試すコードを次に示します。

87import torch.utils.data
88from torch.nn import functional as F
89
90from labml_helpers.module import Module

ディスクリミネーターロス

$w$$${\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f_w(x)]-{\mathbb{E}}_{z\sim p(z)}[f_w(g_{\theta }(z))]$$最大化したいから最小化する $$-\frac{1}{m}\sum _{i=1}^m{f}_w\left(x^{(i)}\right)+\frac{1}{m}\sum _{i=1}^m{f}_w(g_{\theta }(z^{(i)}))$$

93class DiscriminatorLoss(Module):

• f_real は $f_w(x)$

f_fake は $f_w(g_{\theta }(z))$

これにより、$f_w(x)$$f_w(g_{\theta }(z))$とが失われたタプルが返されます。このタプルは後で追加されます。これらはロギング用に別々に保管されます。

104    def forward(self, f_real: torch.Tensor, f_fake: torch.Tensor):

発電機損失

$\theta$$${\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f_w(x)]-{\mathbb{E}}_{z\sim p(z)}[f_w(g_{\theta }(z))]$$最小化したい最初のコンポーネントは独立しているので$\theta$、最小化します。$$-\frac{1}{m}\sum _{i=1}^m{f}_w(g_{\theta }(z^{(i)}))$$

118class GeneratorLoss(Module):

• f_fake は $f_w(g_{\theta }(z))$

130    def forward(self, f_fake: torch.Tensor):