#

ジェネレーティブ・アドバーサリアル・ネットワーク (GAN)

$G (z z; θ_{g})$ ジェネレーターはデータの分布に一致するサンプルを生成し、 $D (x x; θ_{g})$ ディスクリミネーターはデータから得られる確率ではなく、 $x x$ データから得られる確率を返します。 $G$

$D$ $G$ バリュー機能を備えた2人用のミニマックスゲームで同時にトレーニングします。 $V (G, D)$

$G min D max V (D, G) = E_{x x \sim p_{d a t a} (x x)} [lo g D (x x)] + E_{z z \sim p_{z z} (z z)} [lo g (1 - D (G (z z))]$

$p_{d a t a} (x x)$ はデータ全体の確率分布で $z z$ 、 $p_{z z} (z z)$ の確率分布はガウスノイズに設定されます。

このファイルは損失関数を定義します。これは、ジェネレーターとディスクリミネーターに2つの多層パーセプトロンを使ったMNISTの例です

。

34import torch
35import torch.nn as nn
36import torch.utils.data
37import torch.utils.data
38
39from labml_helpers.module import Module

#

ディスクリミネーターロス

ディスクリミネーターは勾配の上を向いているはずですが

$\nabla_{θ_{d}} \frac{1}{m} i = 1 \sum m [lo g D (x x^{(i)}) + lo g (1 - D (G (z z^{(i)})))]$

$m$ はミニバッチサイズで、 $(i)$ ミニバッチ内のサンプルのインデックスに使用されます。 $x x$ $p_{d a t a}$ $z z$ からのサンプルであり、 $p_{z}$ からのサンプルです。

42class DiscriminatorLogitsLoss(Module):

#

57    def __init__(self, smoothing: float = 0.2):
58        super().__init__()

#

PyTorchのバイナリクロスエントロピー損失を使います。つまり $- \sum [y lo g (\overset{y}{^}) + (1 - y) lo g (1 - \overset{y}{^})]$ 、 $y$ $\overset{y}{^}$ ラベルはどこで予測はどこですか。マイナス記号に注意してください。for from $p_{d a t a}$ と同じラベルと $1$ for $x x$ from $0$ に等しいラベルを使用します。これらの合計で降順になると、上記の勾配で昇順になるのと同じになります

。

x x

p_{G} .

BCEWithLogitsLoss ソフトマックスとバイナリクロスエントロピー損失を組み合わせたものです。

69        self.loss_true = nn.BCEWithLogitsLoss()
70        self.loss_false = nn.BCEWithLogitsLoss()

#

ラベルスムージングを使用するのは、場合によってはうまくいくと思われるためです。

73        self.smoothing = smoothing

#

ラベルはバッファリングされて登録され、パーシスタンスはに設定されます。False

76        self.register_buffer('labels_true', _create_labels(256, 1.0 - smoothing, 1.0), False)
77        self.register_buffer('labels_false', _create_labels(256, 0.0, smoothing), False)

#

logits_true $D (x x^{(i)})$ logits_false 元のロジットと元のロジット $D (G (z z^{(i)}))$

79    def forward(self, logits_true: torch.Tensor, logits_false: torch.Tensor):

#

84        if len(logits_true) > len(self.labels_true):
85            self.register_buffer("labels_true",
86                                 _create_labels(len(logits_true), 1.0 - self.smoothing, 1.0, logits_true.device), False)
87        if len(logits_false) > len(self.labels_false):
88            self.register_buffer("labels_false",
89                                 _create_labels(len(logits_false), 0.0, self.smoothing, logits_false.device), False)
90
91        return (self.loss_true(logits_true, self.labels_true[:len(logits_true)]),
92                self.loss_false(logits_false, self.labels_false[:len(logits_false)]))

#

発電機損失

ジェネレータは勾配に沿って下降するはずですが、

$\nabla_{θ_{g}} \frac{1}{m} i = 1 \sum m [lo g (1 - D (G (z z^{(i)})))]$

95class GeneratorLogitsLoss(Module):

#

105    def __init__(self, smoothing: float = 0.2):
106        super().__init__()
107        self.loss_true = nn.BCEWithLogitsLoss()
108        self.smoothing = smoothing

#

$1$ for $x x$ と等しいラベルを使います。 $p_{G} .$ この損失で降順を降順すると、上の勾配で降順になるのと同じになります。

112        self.register_buffer('fake_labels', _create_labels(256, 1.0 - smoothing, 1.0), False)

#

114    def forward(self, logits: torch.Tensor):
115        if len(logits) > len(self.fake_labels):
116            self.register_buffer("fake_labels",
117                                 _create_labels(len(logits), 1.0 - self.smoothing, 1.0, logits.device), False)
118
119        return self.loss_true(logits, self.fake_labels[:len(logits)])

#

なめらかなラベルを作成

122def _create_labels(n: int, r1: float, r2: float, device: torch.device = None):

#

126    return torch.empty(n, 1, requires_grad=False, device=device).uniform_(r1, r2)