#

广义优势估计 (GAE)

你可以在这里找到一个使用它的实验。

15import numpy as np

#

18class GAE:

#

19    def __init__(self, n_workers: int, worker_steps: int, gamma: float, lambda_: float):
20        self.lambda_ = lambda_
21        self.gamma = gamma
22        self.worker_steps = worker_steps
23        self.n_workers = n_workers

#

计算优势

\hat{A_{t}^{(1)}} \hat{A_{t}^{(2)}} ... \hat{A_{t}^{(\infty)}} = r_{t} + γ V (s_{t + 1}) - V (s) = r_{t} + γ r_{t + 1} + γ^{2} V (s_{t + 2}) - V (s) = r_{t} + γ r_{t + 1} + γ^{2} r_{t + 1} + ... - V (s)

$\hat{A_{t}^{(1)}}$ 是高偏差，低方差，而 $\hat{A_{t}^{(\infty)}}$ 无偏差，高方差。

我们采用加权平均值 $\hat{A_{t}^{(k)}}$ 来平衡偏差和方差。这称为广义优势估计。 $\hat{A_{t}} = \hat{A_{t}^{G A E}} = k \sum w_{k} \hat{A_{t}^{(k)}}$ 我们设置 $w_{k} = λ^{k - 1}$ ，这给出了干净的计算 $\hat{A_{t}}$

δ_{t} \hat{A_{t}} = r_{t} + γ V (s_{t + 1}) - V (s_{t}) = δ_{t} + γλ δ_{t + 1} + ... + (γλ)^{T - t + 1} δ_{T - 1} = δ_{t} + γλ \hat{A_{t + 1}}

25    def __call__(self, done: np.ndarray, rewards: np.ndarray, values: np.ndarray) -> np.ndarray:

#

优势表

59        advantages = np.zeros((self.n_workers, self.worker_steps), dtype=np.float32)
60        last_advantage = 0

#

$V (s_{t + 1})$

63        last_value = values[:, -1]
64
65        for t in reversed(range(self.worker_steps)):

#

如果剧集在步骤之后完成，请掩盖 $t$

67            mask = 1.0 - done[:, t]
68            last_value = last_value * mask
69            last_advantage = last_advantage * mask

#

$δ_{t}$

71            delta = rewards[:, t] + self.gamma * last_value - values[:, t]

#

$\hat{A_{t}} = δ_{t} + γλ \hat{A_{t + 1}}$

74            last_advantage = delta + self.gamma * self.lambda_ * last_advantage

#

请注意，我们正在按相反的顺序收集。我最初的代码被追加到一个列表中，后来我忘记反转它了。我花了大约 4 到 5 个小时才发现 bug。在初始运行期间，该模型的性能略有改善，这可能是因为样本相似。

83            advantages[:, t] = last_advantage
84
85            last_value = values[:, t]
86
87        return advantages