拡散モデルはどう画像を生成する？ノイズ除去の仕組みを解説

画像生成AIにテキストを入力すると、わずか数十秒で写真のように精細な画像が描き出されます。現在の画像生成技術の中核を担っているのが「拡散モデル（Diffusion Model）」と呼ばれる数理モデルです。

拡散モデルという名称を聞くと、「インクが水に広がる物理現象のように画像をぼかすのか」「砂嵐のようなノイズからなぜ絵が現れるのか」と疑問に感じるかもしれません。直感的には「画像を徐々に壊していく手順をそのまま巻き戻している」と捉えられがちですが、実際の数学的・計算的な仕組みは単純な逆再生ではありません。

本記事では、拡散モデルがランダムノイズから画像を立ち上げる基本原理から、高解像度化を支える潜在空間の設計、テキスト指示を反映する仕組み、そして知っておくべき技術的限界や誤解までを、数理的根拠に基づいて客観的に解説します。

---

拡散モデルの基本原理――ノイズ推定と段階的更新

拡散モデルの生成プロセスを理解する鍵は、「完成画像を一度に出力する」のではなく、「画像に混ざったノイズ成分を少しずつ推定し、段階的に確からしい構造へと更新していく」点にあります。この仕組みは、「順方向過程（拡散過程）」と「逆方向過程（生成過程）」の2つに整理されます。

順方向過程：正規分布ノイズを加えるマルコフ連鎖

順方向過程は、元のきれいな画像に対して微小なノイズを段階的に加えていくプロセスです。

ここで加えられるノイズは「ガウスノイズ（正規分布に基づくノイズ）」です。数学的には、各ステップの状態が直前の状態のみに基づいて決まる「マルコフ連鎖」として定義されます。微細なノイズ付加を繰り返すにつれて元の画像の特徴は失われ、十分なステップを経た終端分布は「標準正規分布（平均0、分散1のランダムノイズ）」へと近似されます。

一見すると、1ステップずつ順番にノイズを足していく膨大な計算が必要に思えます。しかし代表的な定式化であるDDPM（Denoising Diffusion Probabilistic Models）では、正規分布の加法性を利用することで、任意のステップ t におけるノイズ混ざり画像 x_t を数式一つで直接算出できる性質（閉形式サンプリング）を持っています。これにより、途中の過程を1段階ずつシミュレーションすることなく、任意のノイズ強度を持った訓練データを効率的に作成できます。

逆方向過程：ノイズ成分の推定と更新計算

生成時には、順方向過程とは逆向きの処理を行います。完全に無秩序なランダムノイズ（標準正規分布からサンプリングされた数値の塊）から出発し、画像らしいパターンを徐々に浮かび上がらせていきます。

ニューラルネットワークが学習するのは「元の画像を直接描き直すこと」ではなく、「現在のノイズ混ざり画像に対して、どの程度のノイズ成分が加わっているかを推定すること」です。

完全なランダムノイズからいきなり元の完成画像を予測しようとすると、無数に存在する可能性の平均値をとってしまい、ぼやけた像になりがちです。そこでDDPMなどの標準的な枠組みでは、モデル（U-Netなどのニューラルネットワーク）に現在の画像 x_t とステップ数 t を入力し、そこに含まれるノイズ成分 \epsilon を予測させます。

生成時の更新は、現在の画像から予測ノイズを単純に引き算するだけではありません。確率微分方程式やランジュバン動力学の理論に基づく更新式に従い、予測されたノイズ成分を差し引きながら、次のステップに応じた微小な揺らぎ（分散）を加えて新たな状態を計算します。この「ノイズ推定と更新」を多段階にわたって繰り返すことで、無秩序な数値の塊から自然な輪郭や質感を持った新規画像が形成されます。

模式図の読み方と注意点

上の図は、拡散モデルにおける学習と生成の全体像を示した模式図です。正しく読み解くためには、以下の3点に注意が必要です。

1. 元画像の復元と新規生成の混同を防ぐ：図の左側に描かれる学習時の元画像と、右側の生成プロセスから出力される画像は同一ではありません。学習は多様な画像から「ノイズの混ざり方を推定する能力」を獲得するためのものであり、生成時には全く別のランダムノイズから新しい画像を作り出します。特定の元画像を逆再生して復元しているわけではありません。
2. 多段階の推定・更新プロセスとしての理解：図中のステップ変化は、固定された特定のステップ数（例えば1000→700→300→0といった固定時刻）や「完全な逆再生」を意味するものではありません。初期段階で大まかな明暗や構図が定まり、ステップが進むにつれて細部のテクスチャや境界線が整うという、多段階推定プロセスの全体的な傾向を表現したものです。
3. 画素空間と潜在空間の区別：図中で扱われるデータは、必ずしも画面のピクセル（画素）そのものとは限りません。現代の実用モデルでは、後述するように圧縮された多チャネルの数値配列として処理されます。

---

なぜ高解像度でも高速に動くのか――潜在空間（Latent Space）の活用

初期の拡散モデルは、画面のピクセル（画素）そのものを直接対象としてノイズの付加と除去を行っていました。しかし現代の画像生成モデルの多くは、画素そのものを直接操作するのではなく、「潜在拡散モデル（Latent Diffusion Models: LDM）」と呼ばれる構成を採用しています。

画素空間における計算コストの壁

例えば 512 \times 512 ピクセルのフルカラー画像を考えます。この画像はRGBの3色を持つため、データサイズは 512 \times 512 \times 3 = 786,432 次元という膨大な数値の集まりになります。

この巨大な画素空間上でニューラルネットワークを何十回も動かしてノイズ推定を繰り返すと、メモリ消費量と計算時間は膨大になります。さらに、高解像度画像の隣接ピクセル同士は非常に似通った値を持つことが多く、目に見えない微細なノイズの計算に大半のリソースを奪われるという問題がありました。

オートエンコーダによる知覚的圧縮

この課題を解決したのが、知覚的圧縮（Perceptual Compression）と潜在空間での拡散を組み合わせたLDMの仕組みです。LDMでは、拡散モデルを動かす前段階として「オートエンコーダ（自己符号化器）」を利用します。

オートエンコーダは、入力画像を圧縮する「エンコーダ（Encoder）」と、圧縮データから元の画像を復元する「デコーダ（Decoder）」で構成されます。学習時には、KL正則化やVQ正則化といった手法を用いて潜在空間の分布が整えられます。

代表的な構成例では、 512 \times 512 \times 3 チャネルの画像が、エンコーダによって縦横がそれぞれ8分の1である 64 \times 64 の空間解像度へと圧縮されます。その代わり、特徴を表現するチャネル数は例えば4チャネル（ 64 \times 64 \times 4 = 16,384 次元）へと変換されます。これにより、データの次元数は画素空間の約48分の1にまで大幅に圧縮されます。

潜在空間の正確な定義

「潜在空間」という用語の実体は、単に画像を縮小したものではなく、「画像の再構成に必要な特徴を保持した多チャネルの数値配列」です。エッジや質感、色の関係性といった情報が、多チャネルの潜在変数として凝縮されています。

LDMでは、この圧縮された潜在空間上でランダムノイズから出発し、潜在変数に対するノイズ推定と更新を繰り返します。そして潜在空間上でノイズが取り除かれた配列が得られた段階で、最後にデコーダを一度だけ通すことで、目に見える高解像度のピクセル画像（画素空間）へと一気に展開します。

この設計により、計算資源を視覚的に重要な構造の生成に集中させることが可能となり、一般的なPCやGPU環境でも高精細な画像を現実的な時間で生成できるようになりました。

---

言葉から絵を描く仕組み――テキスト条件付けと交差アテンション

テキストの指示を画像生成プロセスに反映させる仕組みを「条件付け（Conditioning）」と呼びます。

テキストの数値化：トークン表現への変換

コンピュータは文字列をそのまま理解できないため、まずテキストを処理可能な数値ベクトルへと変換します。

1. トークン化：入力された文章を「トークン」と呼ばれる単語や形態素の単位に分割します。
2. テキストエンコーダによる埋め込み：分割されたトークン列を、テキストエンコーダ（CLIPやT5など）に入力します。文脈に応じた高次元のベクトル列である「トークン表現」が出力されます。

交差アテンション（Cross-Attention）による特徴の結合

得られたテキストのトークン表現は、拡散モデルのノイズ推定ネットワーク（U-NetやDiTなど）の内部へと注入されます。この結合を担うのが「交差アテンション（Cross-Attention）」機構です。

交差アテンションでは、画像の中間特徴とテキストのトークン表現との間で関連度（アテンションウェイト）を計算します。

• クエリ（Query）：画像の中間特徴から生成される情報（画像のどの領域か）。
• キー（Key）：テキストのトークン表現から生成される情報（どのような単語が含まれているか）。
• バリュー（Value）：テキストのトークン表現から抽出される実際の特徴内容。

クエリとキーの内積を計算することで、「画像のどの座標が、テキスト中のどの単語に注目すべきか」という対応関係の強さが算出されます。例えば、「画面の中央付近」が「犬」というトークンに強いアテンションを向け、「背景上部」が「夕暮れ」というトークンにアテンションを向けるように動きます。

誘導の性質と限界

交差アテンションにより、モデルは「テキストの指示内容を考慮した上で、現在のノイズ混ざり画像から除去すべきノイズ成分は何か」を判断できるようになります。

ただし、この仕組みは「指定された場所に指定された物体を確実に配置する描画エンジン」ではありません。あくまで統計的な重み付けに基づいてノイズ推定の方向を誘導しているため、複数の物体同士の複雑な位置関係や属性の組み合わせ（例：「黄色いリンゴと赤いバナナ」における色の取り違え）において、意図通りに結びつかない現象が発生することがあります。

---

プロンプトへの忠実度を制御する――分類器なしガイダンス（CFG）

テキストによる条件付けを行っても、それだけではモデルが指示を弱くしか反映しなかったり、平凡な画像を生成してしまったりすることがあります。この追従度合いを調整する手法が「分類器なしガイダンス（Classifier-Free Guidance: CFG）」です。

CFGの原理：条件付きと無条件の差分強調

Ho & Salimans (2021/2022) が提案したCFGは、追加の分類器モデルを必要としません。学習時に一定の確率（例えば10%程度）でテキスト条件を空（ \emptyset ）にして学習させることで、単一のモデルに「条件付き予測」と「無条件予測」の両方の能力を持たせます。

推論時には、現在のノイズ状態 x_t に対して以下の2つのノイズ予測を同時に計算します。

1. 無条件予測 \epsilon_\theta(x_t, \emptyset) ：プロンプトを無視して、自然な画像全体が向かうべきノイズ成分。
2. 条件付き予測 \epsilon_\theta(x_t, c) ：プロンプト c の指示を反映したノイズ成分。

数式とガイダンススケールの意味

CFGにおいて、最終的に適用される合成ノイズ予測 \tilde{\epsilon}_\theta(x_t, c) は次の式で定義されます。

\tilde{\epsilon}_\theta(x_t, c) = \epsilon_\theta(x_t, \emptyset) + s \cdot (\epsilon_\theta(x_t, c) - \epsilon_\theta(x_t, \emptyset))

ここで s は「ガイダンススケール（Guidance Scale）」と呼ばれる調整パラメータです（論文や実装によっては w や 1+w と表記されます）。

この式における (\epsilon_\theta(x_t, c) - \epsilon_\theta(x_t, \emptyset)) は、「無条件の自然な画像」から「テキスト条件 c を与えたことによる変化の方向」を取り出した差分ベクトルです。ガイダンススケール s は、このプロンプトらしさの差分を何倍に強調するかを制御します。

• $s = 0$：条件の影響が消え、プロンプトを無視した無条件生成になります。
• $s = 1$：通常の条件付き予測 \epsilon_\theta(x_t, c) と一致します。
• $s > 1$：無条件生成からの差分が強調され、プロンプトの指示に強く従った画像が生成されます。

スケール調整に伴うトレードオフ

一般的な画像生成ツールの設定では、 s に5〜8程度の値がよく用いられます。スケールを適度に高めることで、プロンプトに指定した要素が明確になり、輪郭やコントラストが明瞭になります。

しかし、値を大きくすればするほど良い画像になるわけではありません。ガイダンススケールを極端に大きく設定すると、以下の問題が生じます。

• 彩度の過剰飽和とアーティファクト：ノイズ推定値が極端な方向へ押し出され、色が焼き付いたように潰れたり、線が不自然に歪んだりする破綻が生じます。
• 多様性の低下：モデルがプロンプトの典型的な表現ばかりを選択するようになり、構図や表現の幅が狭まります。

このように、プロンプトへの忠実度と、画像の自然さ・多様性の間には明確なトレードオフが存在します。

---

拡散モデルをめぐる誤解と技術的真実――記憶・再現性・高速化

拡散モデルの普及に伴い、その仕組みについて誤解も見られます。学術的な検証に基づく正確な技術的事実を整理します。

誤解1：「切り貼りコラージュ」論と「完全な非記憶」論

拡散モデルに関して、「学習データを切り貼りしてコラージュしているだけだ」という見解と、「概念だけを学習しているため、学習元の画像を出力することは絶対にあり得ない」という見解の双方が見られます。

技術的事実は、そのどちらとも異なります。

まず、拡散モデルは多次元の潜在空間上で確率分布に従ってノイズを推定・除去するモデルであり、学習画像のピクセルをコピー＆ペーストしているわけではありません。したがって単純な切り貼りという説明は誤りです。

しかし、「元の画像を一切記憶しない」という主張も事実と異なります。Carliniら（Nicolas Carlini et al., 2023）の研究では、拡散モデルが学習データの一部を「記憶（Memorization）」し、特定のプロンプトから元の学習画像と実質的に同一の画像を生成・抽出できる現象が実証されています。

この記憶現象は、学習データセット内に同一または酷似した画像が何度も含まれている（重複度が高い）場合に生じやすくなります。ただし重要な点として、GoogleのImagenモデルなどを用いた同研究の検証では、データセット内に重複が確認されない画像であっても、元の画像と極めて近い画像が抽出された例が報告されています。拡散モデルは切り貼りではないものの、「完全な非記憶」が数学的に保証されているわけではありません。

誤解2：シード値（Seed）による完全な再現性の条件

「シード値を同じにすれば、どのような環境でも全く同じ画像が再現される」という認識も一般的ですが、これには厳格な前提条件が必要です。

画像生成における再現性は、以下の要素がすべて完全に一致している場合にのみ担保されます。

• 同一のモデルファイルおよび重みパラメータ
• 同一のソフトウェア環境および推論ライブラリのバージョン
• 同一のGPUアーキテクチャおよびドライバ
• 決定論的演算（Deterministic Mode）の設定

深層学習フレームワークにおけるGPUの並列浮動小数点演算には、わずかな丸め誤差や実行順序の違いが生じる余地があります。多段階の更新を繰り返す拡散モデルでは、初期ステップの極微小な数値差が後のステップで拡大し、最終的な出力画像の構図や細部が変化することがあります。

また、シード値を固定したままプロンプトの単語を1つだけ変えても、構図を保ったままその要素だけを変更できるとは限りません。単語の変更によって交差アテンションの重み分布全体が変化するため、構図全体が再構成されるのが通常です。

サンプラースケジューラによる高速化とトレードオフ

初期のDDPMでは、高品質な画像を生成するために1000ステップ程度の更新が必要であり、生成に多大な時間を要していました。

現在では、DDIM（Denoising Diffusion Implicit Models）やDPM-Solverといった高度な数値微分方程式ソルバー（サンプラー／スケジューラ）により、更新の軌道を効率的にスキップすることで、20〜30ステップ程度の実用的な回数で高品質な画像を生成できるようになりました。

ただし、ステップ数の短縮は計算速度と表現品質のトレードオフです。過度にステップ数を間引くと、複雑な手の形状や細かなテクスチャの整合性が崩れやすくなります。

---

よくある質問（FAQ）

Q1. なぜ完全なランダムノイズから、毎回異なる画像が生成されるのですか？

A. 出発点となるランダムノイズ（シード値によって生成される乱数配列）が異なると、多次元空間における初期位置が異なります。拡散モデルはその位置ごとに「自然な画像へ向かう確率的な勾配（ノイズ成分）」を推定するため、多段階の更新を経るうちに、それぞれ異なる多様な画像構造へと収束していくためです。

Q2. ステップ数を増やせば増やすほど、画像の品質はどこまでも向上しますか？

A. 向上しません。初期段階から細部が整うまではステップ数に伴い品質が向上しますが、現代のサンプラーでは概ね30〜50ステップ程度で品質の向上は頭打ちになります。過剰にステップ数を増やしても計算時間を浪費するだけであり、数値誤差の蓄積によりアーティファクトが発生することもあります。

Q3. 生成された画像が学習データと酷似してしまうリスクを避けるにはどうすればよいですか？

A. 最も根本的な対策は、モデルの学習段階で重複画像を取り除くデータセットのクリーニング（重複排除）です。また推論時においては、CFGスケールを極端に高く設定しすぎないことや、あまりに具体的で固有名詞的な長いプロンプトを指定しないことが、記憶された特定画像の意図せぬ引き出しを防ぐ助けとなります。

---

まとめ

拡散モデルは、画像を魔法のように一瞬で描き出す装置でも、学習データを切り貼りするツールでもありません。「ノイズ混ざりの状態からノイズ成分を推定し、段階的に更新する」という明確な数理モデルに基づき、潜在空間という計算効率の高い舞台で高品質な画像を創出しています。

テキスト指示を反映する交差アテンションや、プロンプトへの追従性を調整するCFGといった技術の組み合わせによって、直感的な画像生成が実現されています。一方で、学習データの記憶現象や環境による再現性の差異といった技術的制約も存在します。

表面的な比喩にとどまらず、その背後にある客観的な仕組みと前提条件を理解することが、画像生成AIの可能性を正しく引き出すための確かな土台となります。

---