labml.ai 带注释的 PyTorch 版论文实现

这是一个用 PyTorch 实现各种神经网络和相关算法的集合。每个算法的代码实现都有详细的解释说明，且在网站上与代码逐行对应。我们相信，这些内容将帮助您更好地理解这些算法。

我们正在积极维护这个仓库并添加新的代码实现。以获取更新。

翻译

英语（原版）

中文（翻译）

日语（翻译）

论文实现

✨ Transformers

• 多头注意力
• Transformer 构建模块
• Transformer XL
• 相对多头注意力
• 旋转式位置编码 (ROPE)
• 线性偏差注意力 (AliBI)
• RETRO
• 压缩 Transformer
• GPT 架构
• GLU 变体
• kNN-LM：通过记忆实现泛化
• 自反馈 Transformer
• Switch Transformer
• 快速权重 Transformer
• FNet
• 无注意力 Transformer
• 掩码语言模型
• MLP-Mixer：一种用于视觉的全 MLP 架构
• 门控多层感知器 (gMLP)
• 视觉 Transformer (ViT)
• Primer
• 沙漏网络

✨ Low-Rank Adaptation (LoRA)

✨ Eleuther GPT-neox

• 在一块 48GB GPU 上生成
• 在两块 48GB GPU 上微调
• llm.int8 ()

✨ 扩散模型

• 去噪扩散概率模型 (DDPM)
• 去噪扩散隐式模型 (DDIM)
• 潜在扩散模型
• Stable Diffusion

✨ 生成对抗网络

• 原始 GAN
• 使用深度卷积网络的 GAN
• 循环 GAN
• Wasserstein GAN
• 具有梯度惩罚的 Wasserstein GAN
• StyleGan 2

✨ 循环高速路网络

✨ LSTM

✨ 超网络-HyperLSTM

✨ ResNet

✨ ConvMixer

✨ 胶囊网络

✨ U-Net

✨ Sketch RNN

✨ 图神经网络

• 图注意力网络 (GAT)
• 图注意力网络 v2 (GATv2)

✨ 强化学习

• 近端策略优化与广义优势估计
• 具有对抗网络、优先回放 和双 Q 网络的深度 Q 网络

✨ 虚拟遗憾最小化（CFR）

使用 CFR 解决诸如扑克等不完全信息游戏

• 库恩扑克

✨ 优化器

• Adam 优化器
• AMSGrad 优化器
• 具有预热的 Adam 优化器
• Noam 优化器
• RAdam 优化器
• AdaBelief 优化器
• Sophia-G Optimizer

✨ 归一化层

• 批量归一化
• 层归一化
• 实例归一化
• 组归一化
• 权重标准化
• 批-通道归一化
• DeepNorm

✨ 蒸馏

✨ 自适应计算

• PonderNet

✨ 不确定性

• 用于量化分类不确定性的证据深度学习

✨ 激活函数

• 模糊平铺激活函数

✨ 语言模型采样技术

• 贪婪采样
• 温度采样
• Top-K 采样
• 核采样

✨ 可扩展训练/推理

• ZeRO-3 内存优化

安装

pip install labml-nn