図解でわかるStable Diffusion

イラストで学ぶStable Diffusion イラストで学ぶStable Diffusion 翻訳: 中国語、ベトナム語。 (V2 2022年11月: 順拡散の記述をより正確にするため画像を更新。このバージョンではさらにいくつかの画像を追加) AI画像生成は、人々（私も含めて）の心を揺さぶる最新のAI能力です。テキストの説明から印象的なビジュアルを生み出す能力には魔法のような性質があり、人間が芸術を創造する方法の明らかな変化を示しています。Stable Diffusionのリリースは、この発展における明確なマイルストーンです。なぜなら、高性能なモデルを大衆に利用可能にしたからです（ここでの性能とは、画質だけでなく、速度や比較的低いリソース/メモリ要件も含みます）。 AI画像生成を試した後、あなたはその仕組みについて不思議に思うかもしれません。 これは、Stable Diffusionがどのように機能するかを優しく紹介するものです。 Stable Diffusionは多才で、いくつかの異なる方法で使用できます。まずは、テキストのみからの画像生成（text2img）に焦点を当てましょう。上の画像は、テキスト入力の例と、それによって生成された画像を示しています（実際の完全なプロンプトはこちら）。テキストから画像への変換以外に、もう一つの主な使用方法は、画像を変更させることです（つまり、入力はテキスト＋画像です）。 内部の仕組みを見ていきましょう。なぜなら、それは構成要素、それらの相互作用、そして画像生成のオプション/パラメータが何を意味するかを説明するのに役立つからです。 Stable Diffusionの構成要素 Stable Diffusionは、いくつかの構成要素とモデルからなるシステムです。単一の巨大なモデルではありません。 内部を見ると、最初に観察できるのは、テキスト情報を、テキスト内のアイデアを捉えた数値表現に変換するテキスト理解コンポーネントがあることです。 私たちは高レベルな視点から始め、この記事の後半でより詳細な機械学習の内容に入っていきます。しかし、このテキストエンコーダは特別なTransformer言語モデルであると言えます（技術的には：CLIPモデルのテキストエンコーダ）。入力テキストを受け取り、テキスト内の各単語/トークンを表す数値のリスト（トークンごとのベクトル）を出力します。 その情報は次に、画像生成器に提示されます。画像生成器自体もいくつかのコンポーネントで構成されています。 画像生成器は2つの段階を経ます： 1- 画像情報生成器 このコンポーネントはStable Diffusionの秘伝のタレです。以前のモデルに対する多くの性能向上はここで達成されています。 このコンポーネントは、画像情報を生成するために複数のステップで実行されます。これはStable Diffusionのインターフェースやライブラリにおけるstepsパラメータで、多くの場合デフォルトは50または100です。 画像情報生成器は、完全に画像情報空間（または潜在空間）で動作します。これが何を意味するかについては、後ほどこの記事で詳しく説明します。この特性により、ピクセル空間で動作していた以前の拡散モデルよりも高速です。技術的には、このコンポーネントはUNetニューラルネットワークとスケジューリングアルゴリズムで構成されています。 「拡散」という言葉は、このコンポーネントで起こることを表しています。それは、最終的に（次のコンポーネントである画像デコーダによって）高品質な画像が生成されるように、情報を段階的に処理していくことです。 2- 画像デコーダ 画像デコーダは、情報生成器から得た情報を使って絵を描きます。この処理は、最終的なピクセル画像を生成するために、プロセスの最後に一度だけ実行されます。 これにより、Stable Diffusionを構成する3つの主要コンポーネント（それぞれが独自のニューラルネットワークを持つ）が見えてきます： テキストエンコーディングのためのClipText。入力：テキスト。出力：77個のトークン埋め込みベクトル（各768次元）。 情報（潜在）空間で情報を段階的に処理/拡散させるためのUNet + Scheduler。入力：テキスト埋め込みと、ノイズで構成される開始多次元配列（構造化された数値のリスト、テンソルとも呼ばれる）。出力：処理済み情報配列 処理済み情報配列を使用して最終画像を描画するAutoencoder Decoder。入力：処理済み情報配列（次元: (4,64,64)）。出力：結果の画像（次元: (3, 512, 512)、これは（赤/緑/青、幅、高さ）） 拡散とは一体何か？ 拡散は、ピンク色の「画像情報生成器」コンポーネント内部で行われるプロセスです。入力テキストを表すトークン埋め込みと、ランダムな開始画像情報配列（これらは潜在変数とも呼ばれます）を持って、このプロセスは画像デコーダが最終画像を描画するために使用する情報配列を生成します。 このプロセスは段階的に行われます。各ステップで、より関連性の高い情報が追加されます。プロセスの直感を得るために、ランダムな潜在変数配列を調べ、それが視覚的なノイズに変換されることを確認できます。この場合の視覚的検査とは、それを画像デコーダに通すことです。 拡散は複数のステップで起こり、各ステップは入力潜在変数配列に対して動作し、入力テキストと、モデルが学習したすべての画像からモデルが拾ったすべての視覚情報により似た、別の潜在変数配列を生成します。 これらの潜在変数のセットを可視化して、各ステップでどのような情報が追加されるかを見ることができます。 このプロセスを見るのは、かなり息をのむものです。 この場合、ステップ2と4の間には特に魅力的なことが起こります。まるで輪郭がノイズから浮かび上がってくるようです。 拡散の仕組み 拡散モデルによる画像生成の中心的な考え方は、強力なコンピュータビジョンモデルが存在するという事実に依存しています。十分に大きなデータセットがあれば、これらのモデルは複雑な操作を学習できます。拡散モデルは、画像生成の問題を次のように捉えます： 画像があるとします。そこにノイズを生成して追加します。 これは今、学習例と見なすことができます。この同じ式を使って、多くの学習例を作成し、画像生成モデルの中心コンポーネントを学習させることができます。 この例では、画像（量0、ノイズなし）から完全なノイズ（量4、完全なノイズ）までのいくつかのノイズ量の値を示していますが、画像に追加するノイズの量を簡単に制御できるので、それを数十のステップに分散させ、学習データセット内のすべての画像に対して、画像ごとに数十の学習例を作成できます。 このデータセットを使って、ノイズ予測器を学習させ、特定の構成で実行すると実際に画像を作成する優れたノイズ予測器を手に入れることができます。機械学習に触れたことがあれば、学習ステップは見覚えがあるはずです： さて、これがどのように画像を生成できるかを見てみましょう。 ノイズを取り除いて画像を描く 学習済みのノイズ予測器は、ノイズの多い画像と、ノイズ除去ステップの番号を受け取り、ノイズの一片を予測することができます。 サンプリングされたノイズは、それを画像から減算すると、モデルが学習した画像（正確な画像そのものではなく、分布 – 空は通常青く地面の上にあり、人は2つの目を持ち、猫はある特定の見た目 – 尖った耳と明らかに感心していない表情 – を持つ、ピクセル配置の世界）に近い画像が得られるように予測されます。 学習データセットが美的に優れた画像（例えば、Stable Diffusionが学習されたLAION Aesthetics）であれば、結果の画像は美的に優れたものになる傾向があります。ロゴの画像で学習させれば、ロゴ生成モデルができあがります。 これは、Denoising Diffusion Probabilistic Modelsで主に説明されているような、拡散モデルによる画像生成の説明を締めくくります。この拡散の直感を得た今、あなたはStable Diffusionだけでなく、Dall-E 2やGoogleのImagenの主要コンポーネントも知っていることになります。 ここまで説明した拡散プロセスは、テキストデータを一切使用せずに画像を生成することに注意してください。したがって、このモデルをデプロイすると、見た目が素晴らしい画像を生成しますが、それがピラミッドの画像なのか、猫の画像なのか、それとも他の何かなのかを制御する方法はありません。次のセクションでは、モデルが生成する画像の種類を制御するために、プロセスにテキストをどのように組み込むかを説明します。 スピードブースト：ピクセル画像の代わりに圧縮（潜在）データでの拡散 画像生成プロセスを高速化するために、Stable Diffusionの論文は拡散プロセスをピクセル画像上ではなく、

図解でわかるStable Diffusion

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト