サンフランシスコの AI エンプレナーが予期せぬ事態に備えるエージェント開発へ

サンフランシスコのソマ地区にあるダニヤル・ハフナーのオフィスは、ほとんどが空っぽだ。彼の最新スタートアップはまだ非公開（ステルス）モードで、入り口には社名すら掲げられていない。私が訪れたその日、彼以外にいたのはたった一人だけで、家具もほとんどない。装飾面では物足りないものの、ロボットという点でそれを補っている。広々とした空間の中央を走るラックからは、さまざまな形状やサイズのヒューマノイドが人形のようにぶら下がっていた。

31歳のハフナーは新事業についてまだ詳しく語らないが、これは長年取り組んできた「AI がトレーニング未曾有の環境をナビゲートできるようにする」という取り組みの継続だと説明している。彼が中国から輸入したヒューマノイドは、この研究の次の進化形であり、その物理的な具現化だ。未検証のシナリオで反応できる能力こそが、ロボットを人間の生活空間へ導入するための鍵となる。例えば、ロボットを人の家に送り込むなら、これまで見たことのない間取りや家具に対処できなければならないからだ。

これを実現するためにハフナーは「モデルベース強化学習」と呼ばれる手法に依存している。彼は物理現実を模倣するように設計された AI モデルである「ワールドモデル」を開発し、その中でエージェントを訓練する。エージェントはこのモデルを実世界シミュレーションとして扱い、そこで行動する方法を学ぶ。そして得た経験をもとに、将来の結果について予測（ハフナーなら「夢見たり想像したり」と表現するかもしれない）を行う。これにより、エージェント、あるいはそれらに組み込まれたロボットは、現実世界（IRL）での未知の状況もナビゲートできるようになる。

「Google の研究部門では非常に優秀な人材と多く接しますが、彼はトップ 1% の上位半分に位置する人物です」

Timothy Lillicrap（Google DeepMind）

他の取り組みとは異なり、Hafner の手法は、ロボット制御における従来の実世界での試行錯誤トレーニングを必要とせず、エージェントやその制御下にあるロボットが極めて複雑なタスクを実行することを可能にします。

Hafner はドイツ北東部の田舎町で育ち、両親はいずれもクラシック音楽家でした。近所の人からプログラミングを学び、高校時代には AI に関するオンラインコースを受講し始め、すぐに情熱的な関心へと発展しました。「思考の仕組みにいつも魅了されていました」と彼は語ります。AI はそれをコンピュータ上で模倣する手段を提供してくれました。

2015 年、ポツダムのハッソ・プラットナー研究所で工学を専攻する 2 年生だった当時、Google Brain の学生研究者としての役割を獲得しました。その後同社ではドゥーゼン以上のインターンシップやポジションを経験し、英国、カナダ、米国において Google Brain や Google DeepMind（両者は後に DeepMind に統合されました）で活動しました。AI の父祖の一人とされる Geoffrey Hinton 氏や、現在の大規模言語モデルに採用されているトランスフォーマー技術を記述した画期的な論文「Attention Is All You Need」の共著者である Ashish Vaswani 氏といった業界のレジェンドたちとも協力しました。

ハフナーの元上司であり共著者でもあるグーグルのティモシー・リリックラップは、彼を「突出した人物の中でもさらに抜きんでた存在」と評しています。「グーグルの研究部門では非常に優秀な人材と多く接する機会がありますが、彼は上位 1% の中でも特に頭一つ抜けています。多くの場合、彼の一人だけでチーム全体が数ヶ月かけて行うようなものを構築してしまうのです」。

長年にわたり、ハフナーは自らのアプローチを磨き上げ、その有効性を証明してきました。彼の世界モデル内で訓練されたエージェントを人気ビデオゲームと対戦させる実験です。最初の画期的成果が PlaNet でした。これはエージェントが先手を打って行動計画を立てることで実行可能なモデルです。続く Dreamer 2 は、世界モデルを用いて Atari 2600 ゲームで人間レベルの性能を達成した初のエージェントとなりました。Dreamer 3 では、マインクラフトのダイヤモンド採掘課題を自力で解決する最初の試みとなり、ゲーム内で宝石を採掘することに成功しました。そして Dreamer 4 はさらに一歩進み、ゲーム自体に直接インタラクションすることなく、記録されたプレイ動画からなるオフラインデータセットからダイヤモンドの採掘方法を学習しました。

最近では、ハフナーはエージェントを仮想世界から物理的な現実世界へと移行させ始めています。彼の「DayDreamer」プロジェクトでは、Dreamer アルゴリズムを活用し、ロボットが特定の訓練なしで未知の環境下で自律的に動作したり、押され倒されるような新しい経験に対して反応したりすることを可能にしています。

現在、ハフナーは2025年秋にGoogle DeepMindを辞めて設立した新スタートアップで活動しています。今後の具体的な方針についてはあえて触れませんが、彼の夢は非常に大きいことが伺えます。「世界を変えるような課題に取り組みたい」という思いが、彼からはじわじわと伝わってきます。