Ai2(アレン・インスティテュート・フォー・AI)を去る挨拶:Olmo モデルへの回顧と AI 業界への示唆
Allen Institute for AI (Ai2) のオムモデル開発者であるネイサン・ランバート氏が、同機関を離れオープンソース生態系の改善に注力することを発表し、産学連携の重要性とオープンなアプローチの価値について言及した。
キーポイント
主要開発者の退任とオムモデルへの貢献
Ai2 で Olmo モデルの開発に携わったネイサン・ランバート氏が、同機関を離れることを発表し、そこで得た経験や文化への感謝を述べている。
オープンソースと安全な拡散の重要性
Ai2 のミッションとして、産学間のニッチな立場で技術をオープンにすることで、社会への安全かつ広範な技術拡散を促進するべきだと強調している。
独立した声の必要性と今後の展望
AI が地政学的・社会的に影響力を増す中、Ai2 のような独立した機関が最先端の課題に取り組む重要性を説き、自身も引き続きオープンエコシステムの改善に携わる意向を示している。
Ai2 の文化とリソース
研究プロセス、成果物、そして最も重要なのは研究者自身を大切にする深い文化があり、このコアバリューは再編後も維持される。
優先順位付けによる成果
重要でないことに「ノー」と切り捨てて時間を集中させた結果、過去 2 年間で失敗した中規模プロジェクトは一つもなかった。
キャリア転換と学習の過程
電気工学出身者が AI に転向する際、初期には指導者から断られたが、資金獲得や論文執筆のために全力を注ぎ、最終的に BAIR での協力を得た。
Tülu 3 と RLVR の成功
2024 年に Llama 3 を凌駕するポストトレーニングプロジェクト「Tülu 3」を立ち上げ、検証可能な報酬を用いた強化学習(RLVR)という用語を確立した。
影響分析・編集コメントを表示
影響分析
この記事は、主要なオープンソース LLM プロジェクトである Olmo の開発者が組織を去るという人事ニュースであると同時に、AI 業界における「オープンソースによる安全な技術普及」という哲学の重要性を再確認させる内容です。特に、大規模企業や政府主導の動きが強まる中で、独立した研究機関が果たすべき役割についての提言は、今後の AI ガバナンスや開発戦略を考える上で示唆に富んでいます。
編集コメント
Olmo モデルの主要開発者の退任は、オープンソース LLM エコシステムにおける人的資源の流動性を示す重要な事例です。また、記事内で語られる「独立した声」の必要性は、現在の AI 開発が抱える地政学的リスクやガバナンス課題に対する一つの解決策として注目されるべき視点です。
私は、Olmo モデルの開発に携わり、成長し、学び、広範かつ永続的な影響を与える特権を授かったアレン・インスティテュート・フォー・AI(Ai2)を去ります。本稿は、パフォーマンスの最前線からは明らかに遠く離れていたにもかかわらず(サイズ別クラスター内であっても)、私たちが行ったことがいかに影響力を持っていたのかを振り返り、またそれが今日の AI における多様な影響への道筋をどう反映しているかを考察する試みです。
まず、昨日私は会社に対して以下のメッセージを共有しました:
親愛なる Ai2 の皆様へ。
ご存知の通り、今日は私が Ai2 で働く最後の一日となります。
私が Ai2 に入社したのは、ほとんど偶然によるものです。2023 年にハワイで開催された ICML でルカ氏と出会い、もし参加する機会があれば、私のオープンソースのポストトレーニングに関する取り組みを劇的にレベルアップできることに気づきました。オファーをいただいた際、それは迷う余地のない決断でした。非常に歓迎され、興奮に満ちた環境だったからです。
これは私の人生を変えた素晴らしい旅であり、私たちが一緒に成し遂げた仕事に対してこれほど誇らしいことはありません。Ai2 の核心には素晴らしい科学的文化があり、これが継続していくことを楽しみにしています。ここに在籍できたこと、そしてこの文化と環境を育むために必死に努力された方々から個人的に多大な恩恵を受けたことに、私は非常に幸運だと感じています。これはチーム全体による取り組みでした。これには、私との最も長い交流がコーヒー機械での短い会話しかなかった方々も含まれます。Ai2 の人々がミッションのために示した多様な姿から、私は多くのエネルギーと興奮をいただきました。
私はすでに OE チームの多くの方々に直接お礼を申し上げましたが、このプロジェクトに関わった他のすべての皆様にも感謝したいです。法務、IT、広報、そしてオフィスチームは、私たちの研究活動を支援し、レベルアップさせるために素晴らしい仕事をしてくれています。彼らの仕事はしばしば忘れられがちで、注目の的から外れていたり、最後の瞬間に思い出されたりしますが、目標を達成するためにすべてが不可欠でした。今後数年間、素晴らしいノースレイク・スペースを訪れることを楽しみにしています。
私が去ることはあっても、Ai2 のミッションについてはこれまで以上に興奮しています。Ai2 は学術界と産業界の間に位置する非常に稀有なニッチで活動しており、そこで私たちは私たちの人生において最も重要な技術を探索し、影響を与えることができます。このようにオープンに行うことが、恩恵を受ける可能性のあるすべての人々に技術が安全に拡散されることを保証する最良の方法です。Ai2 は可能な限り大胆であり続け、AI の最先端と分野における最大の課題に影響を与えようとする必要があります。これらの挑戦を恐れてはいけません——AI はますます地政学的になり、社会的に disruptive となり、経済の中心となるにつれ、独立した声が必要となります。
私は引き続きこの分野で働き、オープンなエコシステムがより協調的かつ有用になるように努めます。
新しいことに挑戦しに行くにあたり、私を忘れずにいてください。いつでも nathan@natolambert.com までご連絡いただけますし、一年の大半はシアトルに住み続けます。
ネイサン
私は Ai2 を愛し、これからも愛し続けます。Ai2 には、研究プロセスや共有される成果物、何よりもその仕事に携わる人々を大切にする深い文化があります。だからこそ、この機関は数えきれないほどの素晴らしい人材を生み出し、彼らが研究コミュニティ全体にその福音を広めているのです。この中核となる文化は再建を通じても残り続け、AI のあらゆる分野で影響力のある研究を行うための十分なリソースが存在します。
Ai2 に在籍した最後の 2 年間において、私は非常に多くの意味ある仕事に取り組みました。もちろん Olmo が最上位にあり、私の優先事項でもありましたが、Interconnects での継続的な実践の時間を確保し、ATOM の週末集中学習や、楽しい RLHF(Reinforcement Learning from Human Feedback:人間フィードバックによる強化学習)の本に取り組んだことも含め、これらすべてをどうやって成し遂げたのかと不思議に思うほどです。明らかに仕事に没頭していましたが、それは睡眠時間を削ったり全体的なウェルネスを損なうような没頭ではありませんでした。これは正しい長期的アプローチでした。
この印象的な成果リストは、重要でないものに対して容赦なく「ノー」と言い、すべての仕事を世に出すことに注力した結果です。過去数年間で、成功しなかった中規模プロジェクトはありませんでした。もしかすると、私はリスクを十分に取れていなかったのかもしれません。これは、時間をかければ本当に多くのことができることを示しており、むしろそれを行うのに適した問題や環境を見つける方が難しいのです。多くの人々は、その仕事が公になることがない環境にいたり、一貫してトピックを変更することを強いられたりしています。
シェアする
ゼロからヒーローへ
まず、Ai2 への道のりについて簡単に振り返り、これが私にとって実行の物語であると同時に成長の物語でもあったことを示したい。
私は学部で電気工学を専攻し、線形システムの数学とマイクロエレクトロニクスに焦点を当てた。
カリフォルニア大学バークレー校の EECS 博士課程(Electrical Engineering and Computer Science)に入学し、マイクロエレクトロメカニカルシステム(MEMS: Microelectromechanical Systems)の研究を行った。
2017 年 8 月にバークレーに着いたが、AI が私が取り組むべき明確な分野であると気づいた。セルゲイ・レヴィン氏やピエール・アッベイル氏にアドバイスを求めたが、彼らは「いいえ」と答えた。
私は AI について学べる限りのことを学ぶことに全精力を注いだ。2018 年か 2019 年に、セルゲイ氏のポスドク(Postdoc: ポストドクター)の一人から指導を受ける機会を得た。私はこれにすべてを賭け、資金獲得のために戦い、AI の論文執筆のために戦った。
このプロセスは 2022 年の博士課程修了までに実り、バークレー AI リサーチ(BAIR: Berkeley AI Research)の建物へのアクセスと学部内の共同研究が可能になった。道は決して平坦ではなかった。
私は産業界の研究機関へ行き、知的自由を伴う高収入の仕事に就きたいと考えていた。当時なら FAIR や Google Brain のような場所だ。ハギングフェイス(HuggingFace)がその条件に合致する唯一の職場であり、そこへの入社を断ることは容易ではなかった。
私は 2022 年 5 月に HuggingFace に加入し、ChatGPT がリリースされるまで同社で時間を浪費した。私の強みである強化学習(RL: Reinforcement Learning)の背景知識を活かし、RLHF(Reinforcement Learning from Human Feedback: 人間フィードバックからの強化学習)に関するブログ記事を書き、それがバズった。HuggingFace はこの成功を踏まえて私がチームを結成すべきだと判断した。
2023 年、私は自然言語処理(NLP)や言語モデルについて学びました。非常に楽しく、初期のコミュニティを構築しました。しかし、大きな時差のあるリモートワークに疲れ果ててしまいました。ハワイで開催された ICML でルカ・ソルダニー氏と出会い、そこで私が RLHF に関するチュートリアルを提供している際、Ai2 が採用を行っていることを教えてもらいました。
Ai2 の職を得られたのは主に、私の情熱と、彼らにとって魅力的に聞こえるが誰も実行する可能性の低いこと(RL 関連のものなど)を多くやりたいと考えているという姿勢のおかげでした。面接は決して確実なものではなく、これは素晴らしい仕事です!
私は 2023 年 10 月に Ai2 で働き始めました。しばらくリモートで働きました。通常の研究を行い、最初の報酬モデル評価である RewardBench を作成しました。それは堅実な成功でしたが、事前学習チームが最初の Olmo のリリースに向けて準備していたようなものとは全く異なりました。
Ai2 がモデルをどのように効果的にリリースするかについてコーチングを行い、Tülu 2 プロジェクトの立ち上げ(DPO を公に 70B スケールで初めて成功させたモデル)を手伝いました。
最初の Olmo は 2024 年初頭にリリースされました。私は単に役立つことを目指し、基本的なポストトレーニングを行ったことで、論文の共著者名にぎりぎりで載ることができました。すでにどのプロジェクトが実際に重要かを注意深く見極めることに長けていました。
その夏、私は皆を集めて「大規模なフロンティアポストトレーニングプロジェクト」に取り組むように促し始めました。これが2024年秋にリリースされた私の好きなプロジェクトの一つであるTülu 3となりました。目標は、Llama 3のポストトレーニングを、彼ら自身のベースモデルで上回ることにありました。チームの士気は非常に高く、実行もタイミングよく行われたため、論文の中で「検証可能な報酬を用いた強化学習(Reinforcement Learning with Verifiable Rewards: RLVR)」という用語を coined することができました。
Tülu 3とOlmo 2のポストトレーニングを完了させるために私が行った過激な努力により、私は同社で誰よりも40%多いスラックメッセージを送ることになり、「The Cat Herder」という賞を受賞しました。
2025年ははるかにシンプルな年でした。Tülu 3で類似の取り組みを行っていたにもかかわらず、推論モデルへの対応が遅すぎました。しかし、時にはそのようなこともあります。
当初、私たちはOlmo 3を2025年の6月または7月にリリースする予定でした。もちろんそれは実現しませんでしたが、より大きなモデルを訓練するわずかなチャンスを得て、それは本当に成功しました。私たちは針の穴を通すような繊細な調整を行いました。
Olmo 3がリリースされて以来、いくつかの変更が行われることが明らかになり、私個人はその後に大規模なポストトレーニングプロジェクトを立ち上げることはできませんでした。2026年の春には、多くの他の人々が素晴らしい成果を上げました。
これらすべてが、今日私があなたに示していることにつながっています。つまり、Ai2での私の物語の約半分だけが広く知られていたものであり、残りは勢いを築くためのものだったということです。キャリアにおいて本当に大きな成功を収めるには、しばしば人間関係や方向性を築くのに1年ほどの時間が必要です。
Ai2 に加入したときは、私はただの無名の存在でした。しかし、HuggingFace で培ったスキルを学びたいと願うチームに参加することができました。メディアの仕組みを考えると、Ai2 の成功に対して私が受け取る称賛は、実際以上に過大評価されていると感じることがよくあります。
Tülu 3、Olmo 2、そして Olmo 3 といったプロジェクトは、世代を超えたチームワークの成果のように感じられます。これらのプロジェクトで達成された個人的な成功やブレークスルーの量は膨大であり、それを長期間にわたって維持し続けることは、極めて複製が困難です。全体としての成果は、個々の部分の合計を遥かに上回っていました。
ここ数ヶ月の間、私の執筆活動がなければ Ai2 の存在自体を誰も知らないだろうという話を何度も聞きました。そのような発言は誇張されている面もありますが、一部は真実を含んでおり、今日において人間関係を築き、情報を広めることがいかに重要かを再確認させるものです。
実行可能な計画を立てれば、世界はその計画の方向へと傾きます。人々がそれが実現すると確信すればするほど、その可能性は高まります。ビジョンと説得力のある説明は、テクノロジー業界で最も不足している要素の一つです。多くの場合、物を作ることは容易ですが、それを説明することは困難です。もし誰もあなたの仕事について知らなければ、その価値はほぼゼロに等しくなります。評判を築くことの多くは、自分の成果を受け入れてくれる人々との関係を構築することにほかなりません。
これを振り返ると、私のキャリアにおける成功への道筋は驚くほど直線的でした。多くのキャリアの最初の 10 年は、Ai2 に匹敵する一つの機会を見つけるための模索に費やされるべきだと私は考えますし、その機会を常に掴み取れるとは限りません。より多くの機会を生み出す方法はいくつかあります。
以前にもお話しした通り、私の台頭は、AI への関心が急激に高まるのと同時に、より年配で確立された科学者たちが閉じたエコシステムへと引き込まれたことが大きな要因です。これにより権力の空白が生じ、私や私が「私の世代」を形成すると考える他の数人の著名な科学者が急速に成長する余地が生まれました。
Interconnects AI は読者支援型の出版物です。購読者になっていただくことを検討してください。
公的科学家の役割
Ai2 と Interconnects での私の仕事を通じて、私の役割と使命は以下の三つのことを達成しようとするものだと要約できます:
フロンティアモデル(注:最先端モデル)の進化における明確さの提供。これは科学が追いついている場合が最も容易ですが、モデルがどのように変化しているのかに科学的なレンズを適用することも、広範な AI エコシステムにおける信頼構築には非常に有用です。
活気ある多様なオープン(モデル)エコシステムの創出。これは特に権力の集中やフロンティア安全性の研究における視野の狭さという AI のリスクの一部を緩和するために不可欠であり、これが私が過去 3〜4 年にわたり動機付けられてきた理由です。しかし、そのリスクは依然として解消されていません。
上記のミッションをさらに推進する人材やアイデアを生み出し、一般的にはその未来を信じて提唱し構築しようとするミッション志向の個人を育成するための機関を築くこと。AI は壮大な課題であり、私一人で解決できるものではないため、ノイズの中で立ち上がり、同じ志を持つ人々を引きつけるブランドを構築する必要があります。
私が最も力を発揮する時、私は多くの影響を与える道を持っています。私は、AI ブームの間に貴重な計算資源と時間を浪費することなく、影響力のある問題に取り組むオープンな研究者を支援します。私は政策決定者に何が真実であるかを知ってもらいます。人々が使用するモデルを構築します。人々を笑顔にする物語を語ります。モチベーションを保つためにリストを広範囲に保ちます。
私はこれらが継続していくのを見ており、過去数ヶ月の間、この広範な影響について繰り返し考えてきました。アンドレイ・カルパティがアンソロピックに参加するという話を聞いたことが、ついに私の意見をもっと共有するよう促しました:
長い間、学術研究者が新技術の最前線にいることは、素晴らしい社会的均衡でした。中立で偏りのない技術者が、新しいアイデアを世界に広める人々でした。
AI 研究が速度を増して飛躍するにつれて、それはまた閉ざされた扉の奥へと進んでいます。テクノロジー業界は不信感を植え付け、今や彼らが世界に迫っている信じられないほどの変化について語ろうとしています。これはアメリカにおける一種の社会契約にとって大きな損失です。
科学者たちが社会に新技術を理解してもらう手助けをしてきた歴史があります。科学の文化における公共サービスの一環として、この取り組みが継続していくことを望んでいます。
これは特に金銭的な動機による FOMO(取り残されることへの恐怖)という感情によって悪化しており、以前は教授になりたいと考えていた多くの人々(そして本心ではまだそう思っている人々)が、業界の一角で同調し、お金を追う必要性を感じている様子が目につきます。その気持ちはよく分かります。私もこの問題と格闘しています。
セーフティネットがある人々の場合、異なるものを必要とする人々のために何か良いものを作ろうと「zag(逆方向)」を選び、挑戦する者たちには大きなリターンがもたらされるでしょう。私にとってこれは、さまざまなオープンウェイトサイズのモデルで何ができるかを示すため、興味深い完全オープンなモデルを構築することです。
はい、AI の直近の未来はフロンティアによって規定されていますが、長期的な軌道には依然として学術機関やオープンサイエンスが深く含まれています。知識は常に拡散しますが、誰に拡散するのか?
今日現在、私は中国が数年後には AI 研究の世界的な拠点となる位置にあると考えています。研究の拠点とは、アイデアがアクセス可能で、急速に広がり、育まれる場所です。米国では多くの機関や関係性が解消されつつあるように見えます。
最大のリターンは、少なくとも評判において差別化された何かを構築する人々に帰属します。しかし、この道が存在することを示されていない人が多くいます。
これを詳しく説明すると、今日産業界へ進む人々を私は責めません。私自身も先週の求職活動、あるいはむしろ職業探索の過程で、自分も同じ道を選ぶ可能性が非常に高いと感じていました。これは、科学者たちが大胆な立場を取るための支援を受けにくいという体系的な問題であり、特に公共の利益のために設計された立場についてはその傾向が強いです。
さらに一歩進んで、クローズドで最先端の研究機関における研究のみが重要であると言うのは、あまりにも視野狭窄です。確かに、膨大な計算資源を必要とする特定の種類の研究は存在し、それらは今日の最も革命的なツールに直接影響を与えます。しかし、私は多くの人が他の場所でも良い成果を上げる相対的な機会の方が大きいと見ています。
オープンな研究は、人々が AI を理解するために使用する言語の基準として常にあり続けます。それは次世代が訓練される方法であり、産業界が構築したものよりも後れをとっていたとしても同様です。また、新しい長期的なアイデアが育まれるエコシステムでもあります。このオープンなエコシステムへの投資を怠れば、これらのサイクルはすべて足かせをかけられてしまいます。
結局のところ、私の現在の役割の多くは、この分野における影響力のある道筋を示すことにあります。賢明で中規模のオープンモデルが世界の実際の課題にどのように影響を与えるかを示し、政策立案者や教育者が AI の周りに社会を構築するためにオープンな研究を必要としていることを示すことです。これもまた楽しい役割です!もしこの光がさらに弱まり、ほとんど消えかけた火の最も小さな燃えカスになってしまうのを私は見るのは、とても悲しいことでしょう。
研究のペースがさらに鈍化した場合でも、私のような残った人々が家族のために断れない金銭的オファーを受けたとしても、オープンな研究の炎は決して完全に消えることはありません。それは科学が教えられ、行われる方法の中核です。次世代がやってきており、彼らは単に指導とロールモデルを求めているだけです。
次に何があるか
私が考える最高の Ai2 の仕事は、研究インフラストラクチャの構築です。レシピを公開することで、無数の研究者がトレーニングプロセスに対して非常に具体的な質問を行う能力を得ます。Ai2 自体がすべての興味深い質問に答えられるはずがないため、より広いコミュニティにはこれらの研究者が必要です。最近の数ヶ月で私が得た大きな喜びの一つは、トップの機械学習大学を訪れ、多くの大学院生が Olmo を基盤に構築していると聞くことです。これが世界がそうあるべき姿です!
今後についても、同様の領域で活動し続ける計画です。オープンサイエンスのために戦い、オープンモデルエコシステムの未来を想像し、AI ネイティブな時代への社会的移行を滑らかにするために最善を尽くします。私が最も興奮しているのは、特定のタスクに対して中規模のオープンモデルをトレーニングすることで、フロンティアモデルに補完的な有用なツールとなり、価格面で圧倒的に勝利できる点です。私はオープンモデルの生態系の多様性と、ビルダー間の連携への投資をしたいと考えています。
私の過去の焦点領域を考慮すれば驚くべきことではありませんが、すべてのラボ(オープンおよびクローズド)からのリリースのペースと、それらが非常に熟した新しいポストトレーニングのベイン(オンポリシー蒸留、エージェントワークフローなど)上でどのようにヒルクライミングしているかを注視すると、完全にオープンなポストトレーニングレシピはこれまで以上に遅れをとっており、さらにその差が開いていることが明らかです。これを改善したいと考えています。今年中にそれが可能かどうかはまだ100%明確ではありませんが、試みてみます。
これを実現し、主に個人的に実行するためには、新しいスタートと新鮮な視点を必要としていました。私は今後数ヶ月かけて、私が次に何をしようとしているかを慎重に構築しており、できる限り早くそれについてもっと共有したいと考えています。Ai2での私の親しいチームメイトの一人が、別れのカードで私にこの言葉を共有してくれました。私がこれから向かう先において、非常に適切だと感じています。
人生の目的は多数派の側にいることではなく、自分が狂人の仲間入りをしていることに気づかないようにすることである。——マルクス・アウレリウス
皆様の継続的なご支援に心から感謝いたします。
原文を表示
I’m departing the Allen Institute for AI (Ai2), where I got the great privilege to work on the Olmo models, to grow, to learn, and to have broad lasting impacts. This post is an attempt to reflect on why what we did was influential, despite obviously being far from the frontier in performance (even when within size buckets), and how this reflects on various paths to impact in AI today.
To start, I shared the following note with the company yesterday:
Dear Ai2.
As many of you know, today is my last day working at Ai2.
I joined Ai2 largely as an accident. I met Luca at ICML 2023 in Hawaii and realized I could level up my open post-training work dramatically if I got the chance to join. When I got an offer it was an absolute no-brainer, it was such a welcoming and exciting environment.
It has been a wonderful ride that has transformed my life, and I couldn’t be prouder of the work we did together. Ai2 has a wonderful scientific culture at its core and I’m excited to see this continue. I feel very lucky to have been here and that I personally have benefited massively from everyone who has worked so hard to cultivate that culture and environment. It is and has been a team effort. This includes all the people whose longest interactions with me were brief chats at the coffee machine. I drew so much energy and excitement from all the different ways people at Ai2 showed up for the mission.
I’ve already thanked much of the OE team directly, but I wanted to thank everyone else that went into this. Legal, IT, Comms, and the Office team all do a great job enabling and leveling up our research work. It’s often work that is forgotten, outside of the lime light, or remembered at the last minute, but it all has been crucial to achieving our goals. I’m excited to keep visiting the wonderful Northlake space in the coming years.
Even though I’m leaving, I’m more excited than ever about Ai2’s mission. Ai2 operates in such a rare niche between academia and industry, where we can explore and influence the most important technology of our lifetime. Doing this openly is the best way to ensure the technology diffuses safely to everyone who may benefit. Ai2 needs to stay as ambitious as possible, trying to influence the cutting edge of AI and the biggest issues of the field. Do not shy away from these challenges – AI needs independent voices as it only becomes more geopolitical, socially disruptive, and central to the economy.
I will still be working in this space, working to make the open ecosystem better coordinated and more useful.
So as I go off to try something new, don’t be strangers. I’ll always be reachable at nathan@natolambert.com and will still live in Seattle for most of the year.
Nathan
I have loved and will still love Ai2. Ai2 has a deep culture of caring about the research process, the outputs that get shared, and most importantly the people who do the work. This is why the institution creates countless wonderful people that go and spread the gospel throughout the research community. This core culture will remain through the rebuild, and there are plenty of resources to do impactful research across the spectrum of AI.
In the last two years of my time at Ai2 I’ve done so much meaningful work. Of course Olmo is at the top and has been my priority, but making time for consistent practice here on Interconnects, weekend cram sessions for ATOM, and also the fun RLHF book make for a list that makes me wonder how I did it all. I was obviously obsessed with work, but not in a way that made me lose sleep or lose my overall wellness. It was the right long-term approach.
This impressive list is one where I was ruthless in saying no to things that didn’t matter and got all my work out to see the light of day. I had no medium-sized projects that didn’t succeed in the last few years. It makes me wonder if I wasn’t taking enough risk. It shows you can truly do so much with your time, and it’s actually harder to find the right problems and environment to do it. Many people are in environments where their work never becomes public or they’re forced to change topics consistently.
Share
From zero to hero
To start, I’d like to do a short recap on my path to Ai2 to show what Ai2 was just as much a growth story for me as an execution story.
I studied electrical engineering in undergrad, focusing on linear systems math and microelectronics.
I was admitted to the UC Berkeley EECS Ph.D. program to study microelectromechanical systems (MEMS).
I showed up at Berkeley in August of 2017 and realized AI was obviously the thing I should be doing. I asked the likes of Sergey Levine or Pieter Abbeel if they could advise me – they said no.
I threw all my energy into learning what I could about AI. I got a break to get advised by one of Sergey’s post-docs in 2018 or 2019. I went all in on that, I fought for funding, I fought to have an AI paper.
This process worked out by the end of my Ph.D. in 2022: I had access to the Berkeley AI Research (BAIR) building and collaborations in the department. It was a bumpy road.
I wanted to go to industry research, to get a nice paying job with intellectual freedom, something like FAIR or Google Brain at the time. HuggingFace was the only job that fit that bill, it was easy to say yes to.
I joined HuggingFace in May of 2022 and wasted my time at the company until ChatGPT was released. I used my RL background to write a blog post on RLHF which went viral. HuggingFace decided it would be good for me to form a team around this success.
In 2023 I learned NLP and about language models. I had a lot of fun and built an initial community. I got burned out by working remote with a huge time difference. I met Luca Soldaini at ICML in Hawaii, where I was giving a tutorial on RLHF, and they told me Ai2 was hiring.
I got the job at Ai2 largely because of my excitement and how I was saying I wanted to do a lot of stuff that sounded cool to them but no one was likely to do (RL related things). My interviews were far from a sure thing – this is a great job to land!
I started at Ai2 in October of 2023. I worked remotely for a while. I was doing normal research, I made the first reward model evaluation, RewardBench. It was a solid success, but nothing like how the pretraining team was getting ready to release the first Olmo.
I helped coach Ai2 on how to release models well, helping the Tülu 2 project land (the first model to do DPO well, publicly at the 70B scale).
The first Olmo was released in early 2024, I squeaked onto the papers just by trying to be helpful and doing some basic post-training. I was already good at paying attention to which projects are actually important.
That summer I started rounding everyone up to do a “big frontier post-training project.” This became Tülu 3, one of my favorite projects ever released, in fall of 2024. The goal was to beat Llama 3’s post-training with their own base model. The team morale was incredibly high and the execution was so timely, allowing us to coin the term Reinforcement Learning with Verifiable Rewards (RLVR) in the paper.
The crazy lengths I went to get the Tülu 3 and Olmo 2 post-training done had me sending 40% more slack messages than anyone at the company and got me the award “The Cat Herder.”
2025 was a much simpler year. We were too slow to react to reasoning models, given we had been doing similar stuff with Tülu 3, but sometimes that happens.
Originally we wanted to release Olmo 3 by June or July of 2025. That obviously didn’t happen, but we got the slim chance to train a bigger model, and it really landed. We threaded the needle.
Since Olmo 3 was released, it was clear that some changes were coming and I personally never got a big post-training project off the ground after that. Many other people managed great work in the spring of 2026.
This all leaves me here today showing you that only about half of my story at Ai2 is what I was known widely for, and the rest was building momentum. It often takes a year of building relationships and direction before really big successes can happen in a career.
I was just about a nobody when I joined Ai2 and I got to join a team that was willing to learn from the skills I had brought from HuggingFace. With how media works, I often think I get more recognition than I deserve for Ai2’s success.
The likes of Tülu 3, Olmo 2, and Olmo 3 felt like generational team efforts. The amount of personal successes and breakthroughs that happened for those projects is immense – and to sustain them over such a long time period is incredibly hard to replicate. The sum far exceeded the individual parts.
I’ve heard many times in the last few months how people wouldn’t know about Ai2 if it wasn’t for my writing. Statements like this are overblown, but they are partially true and reiterate how crucial building relationships and getting the word out is today.
When you write a plan that is feasible, the world bends towards that plan. When you convince people it’s going to happen it only becomes more likely. Vision and compelling explanations are one of the items in shortest supply in the tech industry. Often building the thing is easy and explaining it is hard. If no one knows about your work, the value is often close to 0. So much of building reputation is about building relationships with people who will receive your work.
Reflecting on all of this, I’ve had a shockingly linear path through my career to incremental success. I would expect the first 10 years of most careers to be in search of finding one opportunity as good as Ai2, and you will not always be able to seize it. There are some ways to create more opportunities.
I’ve discussed before how a large part of my rise is down to many more senior and more established scientists being drawn into the closed ecosystems at the same time as an immense swell in interest for AI. This created a power vacuum that I, and a few other prominent scientists that I think form my “generation”, got to grow rapidly into.
Interconnects AI is a reader-supported publication. Consider becoming a subscriber.
The role of public scientists
With my work at Ai2 and Interconnects, I summarize my role and mission as trying to accomplish three things:
Provide clarity in the evolution of frontier models. This is easiest when the science has caught up, but even applying a scientific lens to how the models are changing is very useful to building trust in the broader AI ecosystem.
Create a vibrant and diverse open (model) ecosystem. This is crucial to mitigating some risks of AI, particularly with concentration of power and myopia in studying frontier safety, that has motivated me now for 3-4 years. The risks haven’t abated.
To build institutions that create people and ideas that further the above missions, and generally mission-driven individuals that are willing to advocate and build a future they believe in. AI is a grand problem, and not one that I can do alone, so I need to build brands to rise through the noise and attract likeminded people.
At my best, I have many avenues for impact. I help open researchers work on impactful problems – not wasting the precious compute and time they have during the AI boom. I help policymakers know what is true. I build models that people use. I tell stories that make people smile. I keep the list wide so that I can stay motivated.
I see all of this continuing, and have been thinking about the broader impacts of this repeatedly over the last few months. Hearing that Andrej Karpathy was joining Anthropic prompted me to finally share more of my opinions:
For a long time, academic researchers being at the cutting edge of new technologies has been a great social equilibrium. Neutral, unbiased technologists have been the people to spread new ideas to the world.
As AI research takes off in velocity, it is also going behind closed doors. The tech industry has sowed distrust, and now they are the ones trying to tell the world about incredible changes coming. It’s a big loss to a form of social contract in America.
There’s been a history of scientists helping society understand new technologies. There is a public service in the culture of science that I want to see continue.
It’s being exacerbated by feelings of FOMO, especially financially driven, where I’m seeing many people who previously wanted to be professors -- and likely still do deep down -- feel a need to conform and chase money, in a pocket of industry. I get it, I grapple with this.
For those with a safety net, there will be great returns to some who choose to zag, and try to build something good, for people who need something different. For me, this is building interesting, fully-open models, to show what you can do with a variety of open weight sizes.
Yes, AI’s immediate future is dictated by the frontier, but it’s long-term trajectory still deeply includes academic institutions and open science. Knowledge will always diffuse, but to whom?
As of today, I think China is positioned to be the global home of AI research in a few years. The home of research is where ideas are accessible, spread rapidly, and are nurtured. The U.S. seems to be unwinding many institutions and relationships.
The largest returns go to people who build something differentiated, at least in reputation, and a lot of people are not being shown that this path exists.
To elaborate on this, I don’t fault any of the individuals who are going to industry today. I’ve been very close to doing this myself in the past weeks of job searching, or rather job exploring. It’s a systematic problem where scientists cannot easily get the support to take bold stances, especially stances that are designed around the public good.
To go a step further and say that only the research within closed, frontier labs matters is very myopic. Yes, there’s a sort of research you can only do with vast compute resources, and they will directly impact the most revolutionary tools of the day. But, I see the relative opportunity to do good elsewhere as higher for plenty of people.
Open research will always be the standard that sets the language people use to understand AI. It’ll always be how the next generation is trained – even if it’s behind what industry has built. It’ll be the ecosystem where new long-shot ideas are built. Without investing in this open ecosystem, all of these cycles will be kneecapped.
At the end of the day, so much of my role now is just showing the path to impact in this domain. To show how clever, mid-sized open models can impact real problems in the world. To show how policy-makers and educators need open research to structure the rest of society around AI. This is a fun role too! It would be very sad for me to see this light diminish ever further, into the lightest embers of a fire that looks almost entirely out.
Even if the pace of research were to slow further, if the folks remaining like myself got financial offers they can’t refuse for their families’ sake, the torch of open research will never fully go out. It’s core to how science is taught and done. There is a next generation coming, they just look for guidance and role-models.
What’s next
I see the best Ai2 work as research infrastructure. Building recipes in public gives countless researchers the ability to ask very specific questions of training processes. We need these researchers in the broader community, as Ai2 could never answer all the interesting questions themselves. One of my great joys in recent months has been visiting a top ML university and hearing so many graduate students say they’re building on Olmo. This is how the world should work!
Going forward, I still plan to operate in similar spaces, fighting for open-science, imagining what the future of the open model ecosystem can be, and doing my best to make the social transition to an AI-native era smooth. I’m most excited by how you can train medium sized open models on specific tasks that become useful tools in complement to the frontier models – massively winning on price. I want to invest in the ecological diversity of open models and coordination across builders.
For something that isn’t surprising given my past focus areas, I’m watching the pace of releases from all labs open & closed, and how they’re hillclimbing on super ripe new post-training veins (on-policy distillation, agentic workflows, etc.), it’s clear that fully-open post training recipes are about as far behind as they ever have been & falling further behind. I’d like to fix this. It’s not 100% clear yet if I will this year, but I’ll try.
To do this best and to execute, mostly personally, I needed a new start and fresh perspectives. I’ll be carefully building what I’m doing next over the next few months and am eager to share more about it when I can. One of my close teammates at Ai2 shared this quote with me in a farewell card, and I found it very apt in where I’m going next.
The object of life is not to be on the side of the majority, but to escape finding oneself in the ranks of the insane. — Marcus Aurelius
Thank you all for your continued support.
関連記事
[AINews] 今日は何も大きな出来事はありませんでした
Anthropic が RSI の兆候を示し、OpenAI の ChatGPT が月間アクティブユーザー数で 10 億人を突破。SpaceX AI は IPO について説明しているが、最も重要なのは AIE WF のチケット確保とイベント参加である。
Google の新モデル「Gemma 4 12B」は 16GB RAM のノート PC で動作可能に設計
Google は、メモリ消費を抑えた新しい生成 AI モデル「Gemma 4 12B」を発表した。このモデルは、一般的な消費者向けノートパソコン(RAM 16GB)でも実行できるように最適化されており、ローカルでの AI 利用を促進するものである。
ロシアのプロパガンダに抵抗する能力において最も優れた大規模言語モデルとは
エストニア言語研究所は、外国の敵対国が推進する危険なプロパガンダを拡散する懸念に対応するため、大規模言語モデルがロシア連邦の戦略的トピックに対して立場を取らない能力を評価する「プロパガンダ抵抗」ベンチマークを発表した。