Ai2（アレン・インスティテュート・フォー・AI）を去る挨拶：Olmo モデルへの回顧と AI 業界への示唆

私は、Olmo モデルの開発に携わり、成長し、学び、広範かつ永続的な影響を与える特権を授かったアレン・インスティテュート・フォー・AI（Ai2）を去ります。本稿は、パフォーマンスの最前線からは明らかに遠く離れていたにもかかわらず（サイズ別クラスター内であっても）、私たちが行ったことがいかに影響力を持っていたのかを振り返り、またそれが今日の AI における多様な影響への道筋をどう反映しているかを考察する試みです。 まず、昨日私は会社に対して以下のメッセージを共有しました： 親愛なる Ai2 の皆様へ。 ご存知の通り、今日は私が Ai2 で働く最後の一日となります。 私が Ai2 に入社したのは、ほとんど偶然によるものです。2023 年にハワイで開催された ICML でルカ氏と出会い、もし参加する機会があれば、私のオープンソースのポストトレーニングに関する取り組みを劇的にレベルアップできることに気づきました。オファーをいただいた際、それは迷う余地のない決断でした。非常に歓迎され、興奮に満ちた環境だったからです。 これは私の人生を変えた素晴らしい旅であり、私たちが一緒に成し遂げた仕事に対してこれほど誇らしいことはありません。Ai2 の核心には素晴らしい科学的文化があり、これが継続していくことを楽しみにしています。ここに在籍できたこと、そしてこの文化と環境を育むために必死に努力された方々から個人的に多大な恩恵を受けたことに、私は非常に幸運だと感じています。これはチーム全体による取り組みでした。これには、私との最も長い交流がコーヒー機械での短い会話しかなかった方々も含まれます。Ai2 の人々がミッションのために示した多様な姿から、私は多くのエネルギーと興奮をいただきました。 私はすでに OE チームの多くの方々に直接お礼を申し上げましたが、このプロジェクトに関わった他のすべての皆様にも感謝したいです。法務、IT、広報、そしてオフィスチームは、私たちの研究活動を支援し、レベルアップさせるために素晴らしい仕事をしてくれています。彼らの仕事はしばしば忘れられがちで、注目の的から外れていたり、最後の瞬間に思い出されたりしますが、目標を達成するためにすべてが不可欠でした。今後数年間、素晴らしいノースレイク・スペースを訪れることを楽しみにしています。 私が去ることはあっても、Ai2 のミッションについてはこれまで以上に興奮しています。Ai2 は学術界と産業界の間に位置する非常に稀有なニッチで活動しており、そこで私たちは私たちの人生において最も重要な技術を探索し、影響を与えることができます。このようにオープンに行うことが、恩恵を受ける可能性のあるすべての人々に技術が安全に拡散されることを保証する最良の方法です。Ai2 は可能な限り大胆であり続け、AI の最先端と分野における最大の課題に影響を与えようとする必要があります。これらの挑戦を恐れてはいけません——AI はますます地政学的になり、社会的に disruptive となり、経済の中心となるにつれ、独立した声が必要となります。 私は引き続きこの分野で働き、オープンなエコシステムがより協調的かつ有用になるように努めます。 新しいことに挑戦しに行くにあたり、私を忘れずにいてください。いつでも nathan@natolambert.com までご連絡いただけますし、一年の大半はシアトルに住み続けます。 ネイサン 私は Ai2 を愛し、これからも愛し続けます。Ai2 には、研究プロセスや共有される成果物、何よりもその仕事に携わる人々を大切にする深い文化があります。だからこそ、この機関は数えきれないほどの素晴らしい人材を生み出し、彼らが研究コミュニティ全体にその福音を広めているのです。この中核となる文化は再建を通じても残り続け、AI のあらゆる分野で影響力のある研究を行うための十分なリソースが存在します。 Ai2 に在籍した最後の 2 年間において、私は非常に多くの意味ある仕事に取り組みました。もちろん Olmo が最上位にあり、私の優先事項でもありましたが、Interconnects での継続的な実践の時間を確保し、ATOM の週末集中学習や、楽しい RLHF（Reinforcement Learning from Human Feedback：人間フィードバックによる強化学習）の本に取り組んだことも含め、これらすべてをどうやって成し遂げたのかと不思議に思うほどです。明らかに仕事に没頭していましたが、それは睡眠時間を削ったり全体的なウェルネスを損なうような没頭ではありませんでした。これは正しい長期的アプローチでした。 この印象的な成果リストは、重要でないものに対して容赦なく「ノー」と言い、すべての仕事を世に出すことに注力した結果です。過去数年間で、成功しなかった中規模プロジェクトはありませんでした。もしかすると、私はリスクを十分に取れていなかったのかもしれません。これは、時間をかければ本当に多くのことができることを示しており、むしろそれを行うのに適した問題や環境を見つける方が難しいのです。多くの人々は、その仕事が公になることがない環境にいたり、一貫してトピックを変更することを強いられたりしています。 シェアする ゼロからヒーローへ まず、Ai2 への道のりについて簡単に振り返り、これが私にとって実行の物語であると同時に成長の物語でもあったことを示したい。 私は学部で電気工学を専攻し、線形システムの数学とマイクロエレクトロニクスに焦点を当てた。 カリフォルニア大学バークレー校の EECS 博士課程（Electrical Engineering and Computer Science）に入学し、マイクロエレクトロメカニカルシステム（MEMS: Microelectromechanical Systems）の研究を行った。 2017 年 8 月にバークレーに着いたが、AI が私が取り組むべき明確な分野であると気づいた。セルゲイ・レヴィン氏やピエール・アッベイル氏にアドバイスを求めたが、彼らは「いいえ」と答えた。 私は AI について学べる限りのことを学ぶことに全精力を注いだ。2018 年か 2019 年に、セルゲイ氏のポスドク（Postdoc: ポストドクター）の一人から指導を受ける機会を得た。私はこれにすべてを賭け、資金獲得のために戦い、AI の論文執筆のために戦った。 このプロセスは 2022 年の博士課程修了までに実り、バークレー AI リサーチ（BAIR: Berkeley AI Research）の建物へのアクセスと学部内の共同研究が可能になった。道は決して平坦ではなかった。 私は産業界の研究機関へ行き、知的自由を伴う高収入の仕事に就きたいと考えていた。当時なら FAIR や Google Brain のような場所だ。ハギングフェイス（HuggingFace）がその条件に合致する唯一の職場であり、そこへの入社を断ることは容易ではなかった。 私は 2022 年 5 月に HuggingFace に加入し、ChatGPT がリリースされるまで同社で時間を浪費した。私の強みである強化学習（RL: Reinforcement Learning）の背景知識を活かし、RLHF（Reinforcement Learning from Human Feedback: 人間フィードバックからの強化学習）に関するブログ記事を書き、それがバズった。HuggingFace はこの成功を踏まえて私がチームを結成すべきだと判断した。 2023 年、私は自然言語処理（NLP）や言語モデルについて学びました。非常に楽しく、初期のコミュニティを構築しました。しかし、大きな時差のあるリモートワークに疲れ果ててしまいました。ハワイで開催された ICML でルカ・ソルダニー氏と出会い、そこで私が RLHF に関するチュートリアルを提供している際、Ai2 が採用を行っていることを教えてもらいました。 Ai2 の職を得られたのは主に、私の情熱と、彼らにとって魅力的に聞こえるが誰も実行する可能性の低いこと（RL 関連のものなど）を多くやりたいと考えているという姿勢のおかげでした。面接は決して確実なものではなく、これは素晴らしい仕事です！ 私は 2023 年 10 月に Ai2 で働き始めました。しばらくリモートで働きました。通常の研究を行い、最初の報酬モデル評価である RewardBench を作成しました。それは堅実な成功でしたが、事前学習チームが最初の Olmo のリリースに向けて準備していたようなものとは全く異なりました。 Ai2 がモデルをどのように効果的にリリースするかについてコーチングを行い、Tülu 2 プロジェクトの立ち上げ（DPO を公に 70B スケールで初めて成功させたモデル）を手伝いました。 最初の Olmo は 2024 年初頭にリリースされました。私は単に役立つことを目指し、基本的なポストトレーニングを行ったことで、論文の共著者名にぎりぎりで載ることができました。すでにどのプロジェクトが実際に重要かを注意深く見極めることに長けていました。 その夏、私は皆を集めて「大規模なフロンティアポストトレーニングプロジェクト」に取り組むように促し始めました。これが2024年秋にリリースされた私の好きなプロジェクトの一つであるTülu 3となりました。目標は、Llama 3のポストトレーニングを、彼ら自身のベースモデルで上回ることにありました。チームの士気は非常に高く、実行もタイミングよく行われたため、論文の中で「検証可能な報酬を用いた強化学習（Reinforcement Learning with Verifiable Rewards: RLVR）」という用語を coined することができました。 Tülu 3とOlmo 2のポストトレーニングを完了させるために私が行った過激な努力により、私は同社で誰よりも40%多いスラックメッセージを送ることになり、「The Cat Herder」という賞を受賞しました。 2025年ははるかにシンプルな年でした。Tülu 3で類似の取り組みを行っていたにもかかわらず、推論モデルへの対応が遅すぎました。しかし、時にはそのようなこともあります。 当初、私たちはOlmo 3を2025年の6月または7月にリリースする予定でした。もちろんそれは実現しませんでしたが、より大きなモデルを訓練するわずかなチャンスを得て、それは本当に成功しました。私たちは針の穴を通すような繊細な調整を行いました。 Olmo 3がリリースされて以来、いくつかの変更が行われることが明らかになり、私個人はその後に大規模なポストトレーニングプロジェクトを立ち上げることはできませんでした。2026年の春には、多くの他の人々が素晴らしい成果を上げました。 これらすべてが、今日私があなたに示していることにつながっています。つまり、Ai2での私の物語の約半分だけが広く知られていたものであり、残りは勢いを築くためのものだったということです。キャリアにおいて本当に大きな成功を収めるには、しばしば人間関係や方向性を築くのに1年ほどの時間が必要です。 Ai2 に加入したときは、私はただの無名の存在でした。しかし、HuggingFace で培ったスキルを学びたいと願うチームに参加することができました。メディアの仕組みを考えると、Ai2 の成功に対して私が受け取る称賛は、実際以上に過大評価されていると感じることがよくあります。 Tülu 3、Olmo 2、そして Olmo 3 といったプロジェクトは、世代を超えたチームワークの成果のように感じられます。これらのプロジェクトで達成された個人的な成功やブレークスルーの量は膨大であり、それを長期間にわたって維持し続けることは、極めて複製が困難です。全体としての成果は、個々の部分の合計を遥かに上回っていました。 ここ数ヶ月の間、私の執筆活動がなければ Ai2 の存在自体を誰も知らないだろうという話を何度も聞きました。そのような発言は誇張されている面もありますが、一部は真実を含んでおり、今日において人間関係を築き、情報を広めることがいかに重要かを再確認させるものです。 実行可能な計画を立てれば、世界はその計画の方向へと傾きます。人々がそれが実現すると確信すればするほど、その可能性は高まります。ビジョンと説得力のある説明は、テクノロジー業界で最も不足している要素の一つです。多くの場合、物を作ることは容易ですが、それを説明することは困難です。もし誰もあなたの仕事について知らなければ、その価値はほぼゼロに等しくなります。評判を築くことの多くは、自分の成果を受け入れてくれる人々との関係を構築することにほかなりません。 これを振り返ると、私のキャリアにおける成功への道筋は驚くほど直線的でした。多くのキャリアの最初の 10 年は、Ai2 に匹敵する一つの機会を見つけるための模索に費やされるべきだと私は考えますし、その機会を常に掴み取れるとは限りません。より多くの機会を生み出す方法はいくつかあります。 以前にもお話しした通り、私の台頭は、AI への関心が急激に高まるのと同時に、より年配で確立された科学者たちが閉じたエコシステムへと引き込まれたことが大きな要因です。これにより権力の空白が生じ、私や私が「私の世代」を形成すると考える他の数人の著名な科学者が急速に成長する余地が生まれました。 Interconnects AI は読者支援型の出版物です。購読者になっていただくことを検討してください。 公的科学家の役割 Ai2 と Interconnects での私の仕事を通じて、私の役割と使命は以下の三つのことを達成しようとするものだと要約できます: フロンティアモデル（注：最先端モデル）の進化における明確さの提供。これは科学が追いついている場合が最も容易ですが、モデルがどのように変化しているのかに科学的なレンズを適用することも、広範な AI エコシステムにおける信頼構築には非常に有用です。 活気ある多様なオープン（モデル）エコシステムの創出。これは特に権力の集中やフロンティア安全性の研究における視野の狭さという AI のリスクの一部を緩和するために不可欠であり、これが私が過去 3〜4 年にわたり動機付けられてきた理由です。しかし、そのリスクは依然として解消されていません。 上記のミッションをさらに推進する人材やアイデアを生み出し、一般的にはその未来を信じて提唱し構築しようとするミッション志向の個人を育成するための機関を築くこと。AI は壮大な課題であり、私一人で解決できるものではないため、ノイズの中で立ち上がり、同じ志を持つ人々を引きつけるブランドを構築する必要があります。 私が最も力を発揮する時、私は多くの影響を与える道を持っています。私は、AI ブームの間に貴重な計算資源と時間を浪費することなく、影響力のある問題に取り組むオープンな研究者を支援します。私は政策決定者に何が真実であるかを知ってもらいます。人々が使用するモデルを構築します。人々を笑顔にする物語を語ります。モチベーションを保つためにリストを広範囲に保ちます。 私はこれらが継続していくのを見ており、過去数ヶ月の間、この広範な影響について繰り返し考えてきました。アンドレイ・カルパティがアンソロピックに参加するという話を聞いたことが、ついに私の意見をもっと共有するよう促しました: 長い間、学術研究者が新技術の最前線にいることは、素晴らしい社会的均衡でした。中立で偏りのない技術者が、新しいアイデアを世界に広める人々でした。 AI 研究が速度を増して飛躍するにつれて、それはまた閉ざされた扉の奥へと進んでいます。テクノロジー業界は不信感を植え付け、今や彼らが世界に迫っている信じられないほどの変化について語ろうとしています。これはアメリカにおける一種の社会契約にとって大きな損失です。 科学者たちが社会に新技術を理解してもらう手助けをしてきた歴史があります。科学の文化における公共サービスの一環として、この取り組みが継続していくことを望んでいます。 これは特に金銭的な動機による FOMO（取り残されることへの恐怖）という感情によって悪化しており、以前は教授になりたいと考えていた多くの人々（そして本心ではまだそう思っている人々）が、業界の一角で同調し、お金を追う必要性を感じている様子が目につきます。その気持ちはよく分かります。私もこの問題と格闘しています。 セーフティネットがある人々の場合、異なるものを必要とする人々のために何か良いものを作ろうと「zag（逆方向）」を選び、挑戦する者たちには大きなリターンがもたらされるでしょう。私にとってこれは、さまざまなオープンウェイトサイズのモデルで何ができるかを示すため、興味深い完全オープンなモデルを構築することです。 はい、AI の直近の未来はフロンティアによって規定されていますが、長期的な軌道には依然として学術機関やオープンサイエンスが深く含まれています。知識は常に拡散しますが、誰に拡散するのか？ 今日現在、私は中国が数年後には AI 研究の世界的な拠点となる位置にあると考えています。研究の拠点とは、アイデアがアクセス可能で、急速に広がり、育まれる場所です。米国では多くの機関や関係性が解消されつつあるように見えます。 最大のリターンは、少なくとも評判において差別化された何かを構築する人々に帰属します。しかし、この道が存在することを示されていない人が多くいます。 これを詳しく説明すると、今日産業界へ進む人々を私は責めません。私自身も先週の求職活動、あるいはむしろ職業探索の過程で、自分も同じ道を選ぶ可能性が非常に高いと感じていました。これは、科学者たちが大胆な立場を取るための支援を受けにくいという体系的な問題であり、特に公共の利益のために設計された立場についてはその傾向が強いです。 さらに一歩進んで、クローズドで最先端の研究機関における研究のみが重要であると言うのは、あまりにも視野狭窄です。確かに、膨大な計算資源を必要とする特定の種類の研究は存在し、それらは今日の最も革命的なツールに直接影響を与えます。しかし、私は多くの人が他の場所でも良い成果を上げる相対的な機会の方が大きいと見ています。 オープンな研究は、人々が AI を理解するために使用する言語の基準として常にあり続けます。それは次世代が訓練される方法であり、産業界が構築したものよりも後れをとっていたとしても同様です。また、新しい長期的なアイデアが育まれるエコシステムでもあります。このオープンなエコシステムへの投資を怠れば、これらのサイクルはすべて足かせをかけられてしまいます。 結局のところ、私の現在の役割の多くは、この分野における影響力のある道筋を示すことにあります。賢明で中規模のオープンモデルが世界の実際の課題にどのように影響を与えるかを示し、政策立案者や教育者が AI の周りに社会を構築するためにオープンな研究を必要としていることを示すことです。これもまた楽しい役割です！もしこの光がさらに弱まり、ほとんど消えかけた火の最も小さな燃えカスになってしまうのを私は見るのは、とても悲しいことでしょう。 研究のペースがさらに鈍化した場合でも、私のような残った人々が家族のために断れない金銭的オファーを受けたとしても、オープンな研究の炎は決して完全に消えることはありません。それは科学が教えられ、行われる方法の中核です。次世代がやってきており、彼らは単に指導とロールモデルを求めているだけです。 次に何があるか 私が考える最高の Ai2 の仕事は、研究インフラストラクチャの構築です。レシピを公開することで、無数の研究者がトレーニングプロセスに対して非常に具体的な質問を行う能力を得ます。Ai2 自体がすべての興味深い質問に答えられるはずがないため、より広いコミュニティにはこれらの研究者が必要です。最近の数ヶ月で私が得た大きな喜びの一つは、トップの機械学習大学を訪れ、多くの大学院生が Olmo を基盤に構築していると聞くことです。これが世界がそうあるべき姿です！ 今後についても、同様の領域で活動し続ける計画です。オープンサイエンスのために戦い、オープンモデルエコシステムの未来を想像し、AI ネイティブな時代への社会的移行を滑らかにするために最善を尽くします。私が最も興奮しているのは、特定のタスクに対して中規模のオープンモデルをトレーニングすることで、フロンティアモデルに補完的な有用なツールとなり、価格面で圧倒的に勝利できる点です。私はオープンモデルの生態系の多様性と、ビルダー間の連携への投資をしたいと考えています。 私の過去の焦点領域を考慮すれば驚くべきことではありませんが、すべてのラボ（オープンおよびクローズド）からのリリースのペースと、それらが非常に熟した新しいポストトレーニングのベイン（オンポリシー蒸留、エージェントワークフローなど）上でどのようにヒルクライミングしているかを注視すると、完全にオープンなポストトレーニングレシピはこれまで以上に遅れをとっており、さらにその差が開いていることが明らかです。これを改善したいと考えています。今年中にそれが可能かどうかはまだ100%明確ではありませんが、試みてみます。 これを実現し、主に個人的に実行するためには、新しいスタートと新鮮な視点を必要としていました。私は今後数ヶ月かけて、私が次に何をしようとしているかを慎重に構築しており、できる限り早くそれについてもっと共有したいと考えています。Ai2での私の親しいチームメイトの一人が、別れのカードで私にこの言葉を共有してくれました。私がこれから向かう先において、非常に適切だと感じています。 人生の目的は多数派の側にいることではなく、自分が狂人の仲間入りをしていることに気づかないようにすることである。——マルクス・アウレリウス 皆様の継続的なご支援に心から感謝いたします。

Ai2（アレン・インスティテュート・フォー・AI）を去る挨拶：Olmo モデルへの回顧と AI 業界への示唆

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト