labml.ai 带注释的 pyTorch 论文实现
这是神经网络和相关算法的简单 PyTorch 实现的集合。这些实现与解释一起记录，网站将这些内容呈现为并排格式的注释。我们相信这些将帮助您更好地理解这些算法。
我们正在积极维护这个仓库并添加新的实现。
翻译
英语（原版）
中文（翻译）
日语（已翻译）
纸质实现
✨ 变形金刚
- 多头关注
- 变压器积木
- 变压器 XL
- 相对多头的注意力
- 旋转位置嵌入 (ROPE)
- 注意线性偏差 (AliBI)
- 复古
- 压缩变压器
- GPT 架构
- GLU 变体
- knn-LM：通过记忆进行泛化
- 反馈变压器
- 开关变压器
- 快速重量变压器
- FNet
- 免注意变压器
- 屏蔽语言模型
- MLP 混音器：面向视觉的全 MLP 架构
- 注意 MLP (gMLP)
- 视觉变压器 (ViT)
- Primer
- 沙漏
✨ Eleuther GPT-neox
✨ 扩散模型
✨ 生成对抗网络
✨ 循环高速公路网络
✨ LSTM
✨ 超级网络-HyperLSTM
✨ ResNet
✨ 混音器
✨ 胶囊网络
✨ U-Net
✨ 素描 RNN
✨ 图形神经网络
✨ 强化学习
-
D@@
- eep Q Network s 带有决斗网络、优先重播和 Double Q Network。
✨ 反事实遗憾最小化（CFR）
使用CFR解决信息不完整的游戏，例如使用CFR的扑克。
✨ 优化器
✨ 规范化层
✨ 蒸馏
✨ 自适应计算
✨ 不确定性
✨ 激活
✨ 语言模型采样技术
✨ 可扩展的训练/推理
重点研究论文 PDF
- Autoregressive Search Engines: Generating Substrings as Document Identifiers
- Training Compute-Optimal Large Language Models
- ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
- PaLM: Scaling Language Modeling with Pathways
- Hierarchical Text-Conditional Image Generation with CLIP Latents
- STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning
- Improving language models by retrieving from trillions of tokens
- NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
- Attention Is All You Need
- Denoising Diffusion Probabilistic Models
- Primer: Searching for Efficient Transformers for Language Modeling
- On First-Order Meta-Learning Algorithms
- Learning Transferable Visual Models From Natural Language Supervision
- The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning
- Meta-Gradient Reinforcement Learning
- ETA Prediction with Graph Neural Networks in Google Maps
- PonderNet: Learning to Ponder
- Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
- GANs N’ Roses: Stable, Controllable, Diverse Image to Image Translation (works for videos too!)
- An Image is Worth 16X16 Word: Transformers for Image Recognition at Scale
- Deep Residual Learning for Image Recognition
- Distilling the Knowledge in a Neural Network
安装
pip install labml-nn引用 LabML
如果您将其用于学术研究，请使用以下 BibTeX 条目引用它。
@misc{labml,
author = {Varuna Jayasiri, Nipun Wijerathne},
title = {labml.ai Annotated Paper Implementations},
year = {2020},
url = {},
}