Poolside AI、小型モデルで高性能を達成

ここ数ヶ月、モデルの所有権や主権・ローカル AI に関する「オープン vs クローズド」や「米国 vs 中国」といった議論が過熱し、頂点に達しようとしています。そんな中、Poolside AI がついに新しいモデルを発表したというニュースは非常に喜ばしいものです。その名も Laguna S 2.1。このモデルは、Thinking Machines の最近のリリースよりも約 10 倍もの規模を持つ競合を凌駕する性能を示しています。

Poolside の直近の技術レポートは、その詳細さから多くの称賛を集めました。Vibhu は、Laguna の最新技術報告について当社のペーパークラブで取り上げました。

@latentspacepod breakdown of our Laguna M.1/XS.2 Technical Report! The Latent Space paper club just did a deep dive, and their takeaways perfectly capture what we set out to build with our Model Factory. A few quotes from the video 淋 (1/6)

youtu.be/QLfZamyMls0","username":"eisokant","name":"Eiso Kant","profile_image_url":"https://pbs.substack.com/profile_images/1842230143965675520/j6mVG2Py_normal.jpg","date":"2026-05-28T20:34:07.000Z","photos":[],"quoted_tweet":{},"reply_count":1,"retweet_count":8,"like_count":47,"impression_count":11267,"expanded_url":null,"video_url":null,"video_preview_media_key":null,"belowTheFold":false}" data-component-name="Twitter2ToDOM">

Poolside の最新技術レポートは、その詳細さから多くの称賛を集めました。Vibhu は、Laguna の最新技術報告について当社のペーパークラブで取り上げました。

@latentspacepod breakdown of our Laguna M.1/XS.2 Technical Report! The Latent Space paper club just did a deep dive, and their takeaways perfectly capture what we set out to build with our Model Factory. A few quotes from the video 淋 (1/6)

youtu.be/QLfZamyMls0","username":"eisokant","name":"Eiso Kant","profile_image_url":"https://pbs.substack.com/profile_images/1842230143965675520/j6mVG2Py_normal.jpg","date":"2026-05-28T20:34:07.000Z","photos":[],"quoted_tweet":{},"reply_count":1,"retweet_count":8,"like_count":47,"impression_count":11267,"expanded_url":null,"video_url":null,"video_preview_media_key":null,"belowTheFold":false}" data-component-name="Twitter2ToDOM">

世界がコード言語モデルの価値に気づく前に 1200 万ドルを投じて開発し、現在はモデルを事前学習からリリースまでわずか 8 週間で完成させる「モデルファクトリー」を構築した Eiso Kant。彼は 10 年以上にわたり、「コードこそが AGI（汎用人工知能）への道である」という信念を賭け続けてきました。

このエピソードでは、Poolside の共同創業者である Eiso が swyx と Vibhu を迎え、なぜ ChatGPT の登場が彼の信念の裏付けとなったのか、なぜ Poolside がオープンウェイトとオープンリサーチを採用したのか、そして仮に Poolside がその 5 社の一員になれたとしても、100 社の基盤モデル企業が存在する世界を望む理由について語ります。

Poolside の「モデルファクトリー」の核心に迫ります。月間 1 万〜2 万回の実験を支えるエンジニアリングシステム、トレーニングへ直接ストリーミングされるデータ、再現性の高い実験環境、低精度計算の活用、そしてコードを記述し、ジョブを実行し、結果を検証して次世代モデルのトレーニングパイプラインを修正するエージェントたちの進化についてです。また、Eiso は最近リリースされた「Laguna S」についても解説します。純粋な知能よりも、持続性・検証・バックトラック（後退）が重要となる理由や、小規模モデルにまだ秘められた能力の大きさ、事前学習の段階で強化学習がより早期に導入されるべき理由、そして次トークン予測がウェブからまだ十分に情報を抽出できていない現状について掘り下げます。

モデルとハーネスの共設計、コーディングエージェントから AGI への道筋、MCP と従来のツール呼び出しを「愚か」と断じる理由、最先端モデル訓練の実態経済、Poolside の 5 億ドル調達、オープンソース AI、規制、NVIDIA と TSMC の影響力、エージェント時代のエンジニアリング生産性、自律性の高いチーム、そして Poolside の採用事情について議論します。

以下が主なトピックです：

• Andrej Karpathy の RNN 研究に触発され、2015 年にコード用の言語モデル構築を始めた経緯
• 市場が関心を示すまで、4 年間と 1,200 万ドルを投じて一つのアイデアに没頭した理由
• ChatGPT が vindication（正しさを証明するもの）として感じられ、Poolside をオープンソース回帰へと導いた背景
• 5 社による寡占状態よりも、100 の基盤モデル企業が存在する世界を望む理由
• オープンウェイトの公開と、真にオープンな研究発表の違い
• ベイエリアのタレント争奪戦の外で、意図的にグローバルな研究組織を構築した理由
• モデル構築の本質が 90% はエンジニアリングであるという見解
• 「モデルファクトリー」：Poolside が迅速な訓練と改善を実現するエンドツーエンドシステム
• 70 名未満の研究者が、月間 1 万〜2 万回の実験を回す仕組み
• 6 ヶ月にわたるモデルサイクルから、5〜8 週間のリリースサイクルへ移行した経緯
• データを直接トレーニングにストリーミングすることで、実験スピードが飛躍的に向上した理由
• 不変のデータ、バージョン管理されたコード、再現性の確保が、厳密なモデル研究を支える仕組み
• 有能な研究者には自らのラボを出て、Poolside の競合となることを望む理由

モデル構築の95%は、より良いデータか計算効率化に帰着する

Laguna S とは何か：直感力よりも、粘り強さ・検証・後退処理が勝る理由

小規模モデルが、これまで予想されていた以上に多くの知識労働を担える可能性

強化学習が事前学習の初期段階へ移行していく理由

次トークン予測が、ウェブから十分な知識を引き出せていない現状

蒸留と環境がなぜAI業界で最も好まれる「薬」になっているのか

中間トレーニングとは実は初期のカリキュラム設計であるという事実

低精度トレーニング、ネットワークボトルネック、そして計算効率化における次の飛躍

Laguna S：全パラメータ1,180億、アクティブ80億、訓練からローンチまで8週間

なぜモデルビルダーは、新しいチェックポイントを30分以内で評価できるのか

モデルとハーンズ（実行環境）の違い：エージェントの能力はどこに由来するのか

Poolsideがコーディングや長期スパンのソフトウェアタスクをAGIへの道と見なす理由

Eiso氏がMCPや従来のツール呼び出しを「愚かだ」と断じる背景

将来のエージェントは、数十種類の事前定義されたツールから選ぶのではなく、スクリプトを書くようになる

最小限のハーンズ、コンテナ、そしてモデルの自由さを支持する論拠

Poolsideがビジョン（視覚）を最優先している理由と、音声への取り組みはすぐには行わない見通し

なぜ言語こそが、知識や推論を符号化する上で最も計算効率の高いモダリティなのか

モデル開発の実質的なコストと、最終トレーニングランがなぜ地味に終わるのか

Poolside という社名に込められた物語と、なぜ同社は野心を放棄しないのか

投資家たちが AGI（汎用人工知能）の実在をまだ疑っている中で、Poolside が 5 億ドルの資金調達を実現した背景

知性が世界で最も需要が高く、コモディティ化される資源へと変化する理由

オープンなモデルが、制限なく公開するにはあまりにも高度になりつつある状況

一国だけで AI セーフティを確保しようとする試みが、グローバルな競争環境では機能しない理由

規制が意図せずして、AI 業界の寡占（2〜3 社による支配）を固定化してしまうリスク

基盤モデルの進化を支える NVIDIA と TSMC、そしてハードウェアシステム

リインフォースメント・ラーニングにおける「壁時計時間」が Poolside の最大のボトルネックとなっている理由

既存の大規模モデルから知識を抽出（ディストillation）するのではなく、ゼロからモデルを訓練する方針

AI が企業のエンジニアリング生産性の測り方をどう変えるか

AI 時代において、従業員にとって最も重要な資質が「自律性（アジェンシー）」となる理由

リーダーは共有された目標と明確な制約を通じて、高い自律性を持つ人材をどう結束させるのか

Poolside における研究、ポストトレーニング、プレトレーニング、アーキテクチャ、評価、エンジニアリングなど各領域の採用戦略

Eiso Kant

LinkedIn: https://www.linkedin.com/in/eisokant

X: https://x.com/eisokant

Poolside: https://poolside.ai

タイムスタンプ

00:00:00 イントロダクション

00:00:54 カーパシー、RNN（再帰型ニューラルネットワーク）、そしてトランスフォーマー以前にコードモデルを構築した話

00:02:26 1,200 万ドルの失敗と ChatGPT による証明

00:03:39 オープンソースと、100 の基盤モデル企業が必要であるという主張

00:09:22 オープンウェイト、オープンリサーチ、そして Poolside のグローバルチーム

00:16:04 モデルファクトリー：なぜモデル構築の 9 割はエンジニアリングなのか

00:20:19 エージェント、自動化された実験、そして RSI（ロボット学習の壁）の兆候

00:24:04 ストリーミングデータ、再現性、そして科学的厳密さ

00:30:35 新たな基盤モデル企業の創出

00:36:07 Laguna S：持続性と純粋な知能のどちらか

00:43:01 事前学習、強化学習、カリキュラム設計の再構築

00:52:33 低精度トレーニングと、より小さなモデルからの最大限の引き出し

00:58:37 モデルハルネス、コーディングエージェント、そして AGI（汎用人工知能）への道

01:09:26 なぜ MCP や従来のツール呼び出しは「愚か」なのか

01:13:04 視覚、マルチモーダル性、そしてなぜ言語が依然として重要なのか

01:18:15 モデルのスケールアップと、トレーニングの実質的な経済性

01:20:40 なぜ Poolside と呼ばれるのか、そして 5 億ドルの調達について

01:27:37 オープンモデル、AI セーフティ、そして寡占化のリスク

01:33:53 NVIDIA、TSMC、そして強化学習におけるボトルネック

01:41:52 より小さなモデル、蒸留、エンジニアリング生産性、そして採用

トランスクリプト

導入：Eiso Kant、Poolside、そしてオープンモデル

Swyx [00:00:00]：それでは、スタジオには Poolside の Eiso Kant 氏と Vibhu をお迎えしました。ようこそ。

Eiso Kant [00:00:08]：ありがとうございます。招いていただき感謝します。ここに来られて嬉しいです。

Swyx [00:00:10]：そうですね、ちょうど飛行機から降りたばかりのようです。先ほどテキストで「SF に向かっているところだ」と送っていただきましたが、「今まさに飛行機に乗っているんでしょ？」と返しました。こんにちは。

Eiso Kant [00:00:16]: そうです。あなたにメッセージを送った後、大きな時差ボケを抱えて参加するのは今日面白い体験になるかもしれないと気づきました。でも、やってみましょう。

Swyx [00:00:23]: 僕がゲストにお伝えしたいのは、準備はそれほど必要ないということです。もしあなたが毎日この分野に取り組んでいるなら、ぼんやりと覚えていることでも、あなたの世界を日常として生きていない聴衆にとっては新鮮に映るはずです。10 年前、あなたは Google Slush で「AI の民主化」について講演しましたね。そして今、私たちはこれから議論する画期的な新モデルをオープンソースで公開しようとしています。では、何があなたを AI の民主化へと導いたのでしょうか？あなたの LinkedIn プロフィールなどを見ても、その経緯は明らかではありません。

Eiso Kant [00:00:57]: 全くそうとは限りません。僕がどうやってこの分野に入ったのか、それが明白だとは思いません。この道に進んだのは、アンドレイ・カルパティ（Andrej Karpathy）のおかげです。

Eiso Kant [00:01:05]: 2015 年、彼は「再帰型ニューラルネットの不合理な有効性」という記事を書きました。

Swyx [00:01:10]: ニューラルネットですね。

Eiso Kant [00:01:11]: その記事を読んで、私はその場でスタートアップの方向性を転換し、RNN（リカレントニューラルネットワーク）や後の LSTM、そして Transformer モデルに取り組むようになりました。コードを書くためのモデルです。この記事を見れば、スクロールしていくうちに、後に言語モデルへと発展する前段階のようなものがわかります。当時は文字レベルの言語モデルが文字を予測し始めていた頃で、その例として「ポール・グラハム生成器」があります。これを実行するとテキストは意味を成しているように見えますが、実際にはそうではありません。さらに下を見るとコードの例も載っています。シェイクスピアですね。

Swyx [00:01:47]: シェイクスピア。

Swyx [00:01:49]: 素晴らしいね。

Eiso Kant [00:01:49]: その記事を読んで、私は RNN や LSTM についてできる限りのことを学ぼうと、深い世界へと足を踏み入れました。これが Transformer の論文です。私には「ニューラルネットワークはあらゆる事象に一般化できるはずだ」という、あまりにも強固な信念がありました。言語もまた、知能を要する多くのタスクやコード記述能力に対して一般化できると信じていたのです。そこで私は Sourced を立ち上げました。これはオープンソースで運営される企業で、「コード上の機械学習」、つまりコードを対象とした言語モデルの開発を目指していました。私たちはこのプロジェクトに約 4〜5 年、2019 年末まで取り組んできました。今ならとてもクールな話ですが、当時は誰も関心を示しませんでした。

Eiso Kant [00:02:29]: その通りです。誰も関心を持っていませんでした。私たちは暗闇の中を歩いていたのです。その過程で、コードの構造に畳み込みニューラルネットワーク（CNN）を適用してみたり、アテンション機構が現れた際には LSTM にそれを組み込んでみたりしました。そしてトランスフォーマー論文が登場したのですが、当時はそれが正解だと直感的に分かることではありませんでした。私たちがこの数年間、コード言語モデルに取り組む中で見落としていたのは、「私たちは正しい道を進んでいた」という事実です。ただ、もっと規模を拡大し続ければよかったのです。

今となっては、スケーリング則や大規模化こそが最も明白な解決策のように思えます。しかし、私自身も 4〜5 年もの時間をコード言語モデルに費やした身としては、その結論に至るまでには至りませんでした。だからこそ、その確信を持って突き進んだ Google や OpenAI、そして他の関係者の方々に対しては、心から敬意を表します。

結局のところ、私たちは当時失敗しました。私のキャリアにおける最大の敗北です。投資家から預かった 1200 万ドルを失ったのですから。当時の金額としては、決して小さな額ではありませんでした。

Eiso Kant [00:03:19]: 当時はまだ多くの時間を費やしましたが、40 人ほどのチームでこの問題に没頭し、何年も取り組んでいました。しかし人生は別の方向へ転がり始め、家族が中心となり、私は顔を伏せて、その後の 2 年間は言語モデルには目を向けませんでした。これは大きな誤りでした。なぜなら、その後の数年間は非常に面白い展開を見せることになるからです。そして ChatGPT が登場しました。それはまるで私の主張の正しさが証明されたようなものでした。人々が私にメッセージを送ってくれるようになり、かつて私が作った資料や講演スライドを改めて見直すことになりました。

ChatGPT、 vindication（正当化）、そしてオープンソースへの回帰

Eiso Kant [00:03:56]: 私たちは当時、「より能力の高い知能を構築するほど、それはオープンで、かつオープンソースであるべきだ」という強い信念を持っていました。

Eiso Kant [00:04:04]: Poolside を設立した当時は、その考えは全く通用しませんでした。私はそれを率直に話したいと思います。Poolside を立ち上げた際、私たちは 2 つの前提に基づいていました。1 つ目は、この技術は能力の向上を止めることなく、複合的に発展していくだろうという点です。今では多くの人が当然のこととして受け入れているかもしれませんが、3 年以上前に私たちが始めた当時は、まだ「これらは確率的なオウム返しに過ぎないのではないか」という議論が交わされていました。

Eiso Kant [00:04:23]: もう一つの重要な点は、強化学習が LLM の能力を押し上げる最大の原動力になると考えていたことです。これは今では明白な事実ですが、3 年前は OpenAI や Google、Anthropic などでもそう考える人は少なく、むしろ私たちが少し見下されていました。「本当にこれでうまくいくのか？」と疑いの目を向けられることもありました。それでも私たちは問題解決に没頭し、オープンソースの議論を再び持ち上げることは考えませんでした。ひたすら頭を下げて、ゼロから知識や理解を築き上げてきたのです。既存の研究ラボから派生したわけではなく、論文を読み込み、コードを書き始め、一つずつ仕組みを解明していきました。

Eiso Kant [00:04:59]: そして今年に入り、私と共同創業者の Jason が再びオープンソースへの議論を本格化させました。

Eiso Kant [00:05:07]: 当時の私たちのウェブサイトに載っていたメッセージは非常にシンプルでした。「AGI を実現し、豊かさあふれる世界を支えたい。そしてその先駆者となる企業でありたい」。それが私たちが目指す道です。

Eiso Kant [00:05:20]: 私たちが今年初めに話し始めたのは、世界が私たちを少しずつ取り囲み始める方向へ進んでいることが明らかになったからです。これは一夜にして起きたことではありませんでした。私たちは徐々にその兆候を感じ、「さて、世界は特定の道を進んでいる」と気づきました。この旅路の中で、私はある比喩を使いました。2015 年か 2016 年の頃を思い返すと、棚から SF 小説の一冊を取り出し、2035 年に AGI が達成され、その後の数十年で物語が終わると書かれた本を読んでいたのです。最初の章では人々が状況を把握しようとしており、次に ChatGPT の登場を描く章が続き、最後に世界が分岐点に立つ章へと進みます。そこで選ばれた道は、数社だけが未来の知能をすべて支配するというものでした。

Eiso Kant [00:06:21]: その物語を考えると、それはユートピア的な SF 小説ではなくディストピア的なもののように感じられました。私は本来、ユートピア的な SF を好む人間です。そこで私たちは一歩引いて考えました。「ここで何か役割を果たせないか？」と。幸いにも、私たちが最前線に立っていたわけではないため、その道を選ぶことは容易でした。

Eiso Kant [00:06:41]: もし私たちが最先端の最前線に立っていたなら、方針を変えることはできなかったでしょう。もちろん、資金や期待が膨れ上がり、すでに多くのものを構築してしまった状況での転換を指しているわけではありません。私たちは小規模なチームとして、ひたすら改善し続けてきました。だからこそ、今ならこの決断を下すことが可能だとわかっていました。しかし、最先端に近づき、他社との差が縮まるにつれて、その決断はより困難なものになっていたはずです。

私たちは多くの内省と議論を重ね、「これは理にかなっている」と結論づけました。もちろん、まだ答えが出ていない大きな疑問もあります。例えば、オープンソースのファウンデーションモデルを使ってどうやってビジネスモデルを構築するのかという点です。また、モデルの悪用が現実的なリスクをもたらす可能性がある場合、いつからオープンソースモデルの公開をやめるべきなのか。政府はオープンソースに対してどのように対応してくるのか。こうした大きな問いには、まだ完全な答えを持っていません。

しかし、私の考えを一言でまとめるなら、それはたった一つの事実に尽きます。たとえ私がその 5 つの企業の一つだったとしても、世界にファウンデーションモデル企業が 100 社ある方が、5 社しかない世界よりも望ましいと私は思います。そして、100 社の存在を可能にするために私たちにできる最も小さく、しかし意味のある貢献とは、研究内容を公開し、現在では重み（weights）もオープンにすることです。その過程で、さらに多くのことをどう実現できるかを探っていけばよいのです。

Neo-Labs、モデルの選択、そしてトークン経済

Swyx [00:08:01]: はい。むしろここ 3 年ほどで、その傾向はより明確になってきたと思います。あなた方は現在「ネオラボ」と呼ばれる一群の代表格です。

Eiso Kant [00:08:10]: はい。

Swyx [00:08:10]: 人々がそう呼び始めているまさにその時、Thinky が新モデルを発表した日でもあります。彼らが公開したベンチマークでは、あなた方のモデルの方が上回っていますね。まだ彼らにはない機能です。これは、業界に複数のプレイヤーが共存する余地があることを示す好例だと言えます。あなたは未来の姿を少しだけ先取りしている。100 社ではなく、20 社の一角にいるようなものです。

Eiso Kant [00:08:36]: そうであってほしいですね。彼らの発表には私も興奮していますし、他のチームが次々とモデルを発表する様子も楽しみです。結局のところ、選択肢の多さと競争こそが、正しい方向への進歩を促すからです。ただ、私たちは同じデータという井戸から汲み上げているにもかかわらず、それぞれのモデルに異なる振る舞いやバイアスをもたらしている事実があります。意図的に組み込まれたバイアスもあれば、完全に予期せぬバイアスもあります。

Swyx [00:09:03]: はい。

Eiso Kant [00:09:03]: もしオープンモデルがトークン経済の一部となる世界でエコシステムを構築していくなら、もはや疑問の余地はないでしょう。その際、企業や国家、個人が「このプロバイダーこそ、私が最も信頼し、合致する存在だ」と選べるような世界を実現したいと考えています。

Swyx [00:09:25]: そうですね。

Vibhu [00:09:26]: 最近までオープンソースのイノベーションは中国のラボから生まれることが多く、ネオ・ラボ20社の中でも特にそうでした。では「西側の DeepSeek」はどこにあるのでしょうか？もしかすると Thinking Machines の Reflection がそれに近いかもしれませんが、まだ数少ないのが実情です。フランスやヨーロッパで你们的な取り組みを始めた你们ですが、現在はアメリカ的な視点も取り入れつつあります。さらに重要なのは、中国のモデルが必ずしもオープンな研究とは限らない点です。皆さんが出している成果は、おそらく最高水準の一つでしょう。数ヶ月ごとに最先端モデルだけでなく、その構築に至るまでの詳細なブログ記事や論文、技術レポートを公開し、「最先端知能」を作るための全貌を示しています。これはまさに、単に重み（ウェイト）を公開するだけでなく、研究プロセス自体もオープンにするという点で、大きな役割を果たしているのです。

Open Weights vs. Open Research

Eiso Kant [00:10:20]: いいえ、むしろ感謝しています。これは非常に意義深い貢献だと思います。重み（weights）は単なるバイナリデータに過ぎません。そう呼ぶべきです。確かにそれらを修正したり変更したりすることは可能ですが、誰かに重みを渡しても、最終的に彼らが私たちが行っていることを再現できるわけではありません。

現在、データセットの公開や特定の情報の開示には課題があります。しかし、研究成果を共有する方法は何か？何万もの計算リソースと実験に費やした中で得られた教訓とは何か——それをどう伝えるかという問いが浮上しています。

ただ一つ訂正させてください。Vibhu さんへの指摘ですが、これは私たちがここ数年ずっと悩んできた点です。設立当初から私たちはアメリカ企業でした。

Swyx [00:10:55]: はい。彼らは移転しました。

Poolside のグローバルチームと米国の拠点