Induction Labs、動画から学習するAI「Photon-1」発表

動画から学習するエージェントの多くは、各フレームを生成した行動を知っている必要があります。しかしインダクション・ラボスは、この要件がボトルネックだと主張しています。同社は先週、行動ラベルを一切使わず生動画のみで事前学習を行う基盤モデルアーキテクチャ「イマジンション・モデル」を発表しました。

テストシステムは Photon-1 です。これは 18 年分のコンピューター操作デモ動画を学習対象とした、スパースな 106B-A5B の混合専門家（MoE）型トランスフォーマーです。社内での PC 操作ベンチマークでは、Photon-1 は Gemini 3.1 Flash-Lite を上回る性能を発揮しつつ、事前学習に必要な計算リソースは大幅に少なく抑えられ、推論コストも約 3 分の 1 で済むと報告されています。

イマジンション・モデルの仕組みとは

イマジンション・モデルは、「次の潜在トークンを予測する」という目標に基づき、次々と未来のフレームを生成します。事前学習中にピクセルそのものを生成するわけではありません。すべての処理は、学習された表現空間上で行われます。

最も重要な主張はこれです。「未来の状態を予測させることで、モデルは行動ラベルを一切見なくてもタスク遂行能力を獲得できる」という点です。インダクション・ラボスはこれを「暗黙的なポリシー（implicit policy）」と呼びます。モデルはマウスクリックごとのラベルではなく、「人間が何をしているか」という概念そのものを学習するのです。

スケーリングを可能にする圧縮技術

このアーキテクチャの鍵となるのは、有限スカラー量子化（FSQ）を用いるビジョンエンコーダーです。各フレームは 960 の離散トークンに圧縮されます。各トークンは 8 次元ベクトルで構成され、それぞれの次元は「-1」「-1/2」「0」「1/2」「1」のいずれかの値をとります。これにより、5⁸通り（約 390 万）のコードを持つ辞書が構築されます。

得られたエンコーディングは、1 フレームあたり約 2.2KB です。Induction Labs によると、これは既存の OCR やマルチモーダルモデルによる表現と比較して 100 倍以上の圧縮率を実現しており、テキストやレイアウト、状態変化も保持されています。

この高い圧縮率を達成するため、Photon-1 は差分潜在エンコーダーを採用しています。動画フレームをペアとしてエンコードし、潜在変数がフレームそのものの内容ではなく、フレーム間の差分を表すように設計されているのです。

データと事前学習の計算リソース

コーパスは、20 億本の公開動画からなる内部インデックスを起点としています。フィルタリングを経て、最終的に約 200 万本のコンピューター画面録画に絞り込まれます。さらに、内部で開発したキーフレーム検出モデルが冗長なフレームを除去します。

完成したデータセットは 5.75 億フレーム（1 秒間に 1 フレームのサンプリング）で構成され、これは約 5,520 億トークン、あるいは約 18 年分の動画に相当します。Photon-1 はこのデータセットを用いて、単一のエポックでゼロから事前学習されました。

32K のコンテキスト長を持つ 106B-A5B モデル（MoE）のトレーニングには、約 30,000 GPU 時間（H200 換算）が必要でした。これは約 4.4×10²² FLOPs に相当します。研究チームは PyTorch でトレーニングを実装し、ビジョンエンコーダーと MoE レイヤーのためにカスタム融合カーネルを開発することで、エンドツーエンドの MFU（モデルフロップ利用率）を 40% 維持しました。これら 3 つの数値は互いに整合しています：H200 で 30,000 GPU 時間、MFU 40% の計算量は、ほぼ正確に 4.3×10²² FLOPs に収まります。

想像から行動へ

Induction Labs は、Photon-1 に動作と指示の形式を教えるために、35,000 件未満のコンピューター操作データでファインチューニングを行いました。専用のトークンにより、モデルは具体的なアクションを発行できるようになります。推論時には、まず次のフレームの状態を予測し、その状態に到達するためのアクションを出力します。

次にオンライン強化学習が実行されます。ロールアウト（試行）は仮想マシン上でリアルタイムかつ大規模に処理され、結果はプログラムによって検証されて報酬として算出されます。Linux 仮想マシンでは、LXQt、Xfce、MATE、GNOME、Plasma の 5 つのデスクトップ環境を動作させています。各環境には、ログイン制限のある Web アプリを利用するための Google アカウントと、レート制限のない内部 ChatGPT クローンが用意されています。

計算資源とコストの比較

*入出力トークン比を 10:1 に加重した値。Induction Labs はこれが同社のコンピューター操作テストと一致すると述べています。

この表には、2 つの注意点があります。第一に、Gemini の数値は Induction Labs が保守的に見積もったもので、アクティブパラメータを 80 億、事前学習トークンを 25 トリオンと仮定しています。表面だけ見ると倍率は約 27 倍であり、 headline で謳われている 30 倍とは異なりますが、Induction Labs は「少なくとも 30 倍」と主張しています。その根拠は、Gemini の真の計算量がこれよりも高い可能性があり、またモデルが蒸留（distillation）されている可能性があるためです。第二に、このベンチマークは社内部門で実施された未公開のものであり、現時点では独立した再現性は保証されていません。

Photon-1 のコスト効率性は、Induction Labs のハードウェア上で計算すると、推測的デコーディングなしで入力 100 万トークンあたり 0.06 ドル、出力 100 万トークンあたり 0.60 ドルです。

これはデスクトップ環境を超えて一般化できるのでしょうか？

これがより興味深いテストとなるのは、Photon-1 が学習したデータがコンピュータ操作の動画に限られていたからです。研究チームは事前学習に含まれていないドメインで微調整を行い、2 つのベースラインと比較しました。1 つ目は、同様のアーキテクチャとサイズを持つビジョンエンコーダー（ただし想像力に関する事前学習なし）、もう 1 つ目は LLM ベースラインです。LLM ベースラインには、Inclusion AI が 20 トリオントークンで事前学習した「Ling-flash-2.0」を採用しました。

Open Checkers Archive 2.0 から抽出した 20,000 試合のチェッカー対戦において、Photon-1 は世界シミュレーションと手質の両方で 2 つのベースラインを上回りました。また、5fps でシミュレートされた合成ビリヤードゲーム 10,000 試合では、真の物理エンジンに対する平均絶対誤差が 0.47 となり、LLM ベースライン（1.15）やビジョンエンコーダーベースライン（1.44）を大きく上回りました。

Photon-1 は事前学習動画から人間の経験則も習得しました。強化学習（RL）の後、仮想マシン内の ChatGPT クローンを使って資料の作成や知識への回答を行う方法を学び、人間が LLM を操作するように制御できるようになりました。

主要なポイント

Photon-1 は、アクションラベルなしで 18 年分の画面録画データから、次の潜在トークンを予測する手法により暗黙的なポリシーを学習しました。

FSQ（Finite Scalar Quantization）は各フレームを 960 トークン（約 2.2 KB）に圧縮し、OCR やマルチモーダル表現と比較して約 100 倍の効率向上を実現しています。

約3万H200 GPU時間をかけて訓練されたこのモデルは、事前学習に必要な計算リソースを約1/27に抑えながら、社内ベンチマークでGemini 3.1 Flash-Liteを上回りました。

デスクトップの動画しか見ていないにもかかわらず、ファインチューニング後はチェッカーやビリヤードの物理法則に関するタスクにおいて、LLMベースラインを凌駕しています。

重みもAPIもライセンスも公開されていません。これは研究成果であり、すぐに実装可能なモデルではありません。

詳細な技術レポートはInduction Labsの公式サイトで、発表のスレッドはX（旧Twitter）でご覧ください。本研究へのすべての功績は、このプロジェクトに取り組んだ研究者たちに帰属します。