安定拡散

これは公式の安定版ディフュージョンリポジトリ compVis/安定版 Diffusion に基づいています。オープンソースのウェイトを直接読み込めるように、モデル構造は同じままにしました。この実装にはトレーニングコードは含まれていません。

プロンプトアート

promptart.labml.aiに安定した拡散ベースの画像生成サービスを展開しました

潜在拡散モデル

コアは潜在拡散モデルです。以下で構成されています。

• オートエンコーダ

注意を向けたU-Net

また、（オプションで）フラッシュアテンションをU-Netアテンションに統合しました。これにより、RTX A6000 GPUのパフォーマンスを50％近くスピードアップできます。

拡散はCLIP埋め込みに基づいて調整されます。

サンプリングアルゴリズム

以下のサンプリングアルゴリズムを実装しました。

• ノイズ除去拡散確率モデル (DDPM) サンプリング

ノイズ除去拡散暗黙モデル (DDIM) サンプリシットサンプリシット

サンプルスクリプト

画像生成スクリプトは次のとおりです。

• テキストプロンプトから画像を生成
• プロンプトに従って、与えられた画像に基づいて画像を生成します
• テキストプロンプトに基づいて特定の画像の一部を変更する

ユーティリティ

util.py ユーティリティ関数を定義します。