labml.ai アノテーション付き PyTorch ペーパー実装
これは、ニューラルネットワークと関連アルゴリズムの単純な PyTorch 実装のコレクションです。これらの実装は説明付きで文書化されており、ウェブサイトではこれらを並べてフォーマットされたメモとして表示しています。これらは、これらのアルゴリズムをよりよく理解するのに役立つと信じています。
このリポジトリを積極的に管理し、新しい実装を追加しています。
翻訳
英語 (原文)
中国語 (翻訳済み)
日本語 (翻訳済み)
論文による実装
✨ トランスフォーマー
- 多面的な注意
- 変圧器ビルディングブロック
- トランスフォーマー XL
- 比較的多面的な注意
- ロータリー・ポジショナル・エンベディング (RoPe)
- 線形バイアスによる注意 (AliBi)
- レトロ
- 圧縮変圧器
- GPT アーキテクチャ
- GLU バリアント
- Knn-LM: 暗記による一般化
- フィードバック変圧器
- スイッチトランス
- 高速ウェイトトランス
- FNet
- アテンションフリー変圧器
- マスク言語モデル
- MLPミキサー:ビジョン用のオールMLPアーキテクチャ
- MLP (GMLP) にご注意ください
- ビジョントランスフォーマー (ViT)
- プライマー EZ
- 砂時計
✨ エリューサーGPT-ネオックス
✨ 拡散モデル
✨ ジェネレーティブ・アドバーサリアル・ネットワーク
✨ リカレントハイウェイネットワーク
✨ LSTM
✨ ハイパーネットワーク- HyperLSTM
✨ リズネット
✨ コンバージョンミキサー
✨ カプセルネットワーク
✨ ユーネット
✨ スケッチ RNN
✨ グラフニューラルネットワーク
✨ 強化学習
✨ 反事実に基づく後悔最小化 (CFR)
CFRでポーカーなどの情報が不完全なゲームを解決します。
✨ オプティマイザー
✨ 正規化レイヤー
✨ 蒸留
✨ アダプティブコンピューティング
✨ 不確実性
✨ アクティベーション
✨ 言語モデルサンプリング手法
✨ スケーラブルなトレーニング/推論
主な研究論文 PDF
- Autoregressive Search Engines: Generating Substrings as Document Identifiers
- Training Compute-Optimal Large Language Models
- ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
- PaLM: Scaling Language Modeling with Pathways
- Hierarchical Text-Conditional Image Generation with CLIP Latents
- STaR: Self-Taught Reasoner Bootstrapping Reasoning With Reasoning
- Improving language models by retrieving from trillions of tokens
- NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
- Attention Is All You Need
- Denoising Diffusion Probabilistic Models
- Primer: Searching for Efficient Transformers for Language Modeling
- On First-Order Meta-Learning Algorithms
- Learning Transferable Visual Models From Natural Language Supervision
- The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning
- Meta-Gradient Reinforcement Learning
- ETA Prediction with Graph Neural Networks in Google Maps
- PonderNet: Learning to Ponder
- Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
- GANs N’ Roses: Stable, Controllable, Diverse Image to Image Translation (works for videos too!)
- An Image is Worth 16X16 Word: Transformers for Image Recognition at Scale
- Deep Residual Learning for Image Recognition
- Distilling the Knowledge in a Neural Network
インストール
pip install labml-nnLabML の引用
学術研究に使用する場合は、以下のBibTeXエントリを使用して引用してください。
@misc{labml,
author = {Varuna Jayasiri, Nipun Wijerathne},
title = {labml.ai Annotated Paper Implementations},
year = {2020},
url = {},
}