視覚生成の進化：エージェント制御への移行と定義基準

ビジュアル生成は、単一の呼び出しで利用される生成モデルから、計画立案やツール選択、中間合成出力の検証、失敗の修正、過去の経験の再利用が可能となる「エージェント型制御プロセス」へと進化を遂げています。

既存のシステムでは、コントローラーとして大規模言語モデル（LLM）や視覚言語モデル（VLM）が用いられ、ビジュアル生成モデルはツールまたは実行役として機能しています。しかし、現在の研究には「どの時点で生成システムがエージェント型とみなされるか」を判断する一貫した基準が存在しません。

計画の深さ、ツールの利用、多役割による協調、強化学習などは、しばしばエージェント性の証拠として扱われますが、これらが必ずしもコントローラーが下せる生成決定の内容を規定するものではありません。そこで本稿では、コントローラーが生産プロセスにおいて「直接制御できる範囲」に基づいて分野を整理します。

L1（条件付け制御）では、コントローラーは既定の生成器への入力準備を行いますが、実行される視覚操作の種類自体は制御しません。

L2（実行制御）では、実際の生成、編集、レンダリング、あるいはコンテンツ修正などの操作を選択して呼び出します。

L3（結果適応制御）では、中間的な出力を観察し、その観察結果に基づいて現在のタスク内の後続の操作を変更します。

L4（経験適応制御）では、完了したタスクからの経験を保持し、その経験を活用して将来のタスクにおける決定内容を変更します。

L0（固定サポート）は、生成レベルの意思決定を行うデプロイ済みコントローラーを持たない、ジェネレーター、エディター、評価モデル、報酬モデル、ベンチマーク、および固定パイプラインを個別に指します。これらのレベルは、モデルサイズやシステム複雑度、出力品質、ツールや役割の数、学習方法ではなく、意思決定の範囲が段階的に広がることを表しています。このフレームワークを画像生成、動画生成、編集、3D 生成、世界モデル、スライド作成、ユーザーインターフェース生成など多様な分野に適用することで、コントローラーの能力がどのように進化し、その仕組みが各レベルにどう分散しているかが明らかになります。