検索機能付きトランスフォーマー (レトロ)

これは、数兆のトークンから取得することによる言語モデルの改善という論文をPyTorchで実装したものです。

テキストの塊のデータベースを構築します。これは、チャンクのBERT埋め込みによってキーのインデックスが付けられるキーバリューデータベースです。これらの埋め込みを計算するには、事前にトレーニング済みのフリーズした BERT モデルを使用します。値は、対応するチャンクと、そのチャンクの前に続く同じ長さのテキストです。

次に、モデルはこのデータベースからモデルへの入力に類似した (最も近い近傍の) テキストを取得します。取得したこれらのテキストは、出力の予測に使用されます

。

検索にはフリーズした BERT モデルを使用するため、トレーニングデータセットのすべての最近傍を事前に計算できます。これにより、トレーニングプロセスがスピードアップします。

コンポーネント: