最先端モデルファクトリーの構築法

ここ数ヶ月、モデルの所有権や主権・ローカル AI に関する議論、特に「オープン vs クローズド」や「米国 vs 中国」を巡る論争が過熱しています。そんな中、Poolside AI が新モデルを発表し、ついに台頭してきたというニュースは非常に喜ばしいことです。彼らが発表した Laguna S 2.1 は、サイズが約 10 倍もある Thinking Machines の直近リリースを凌駕する性能を示しています。

Poolside AI が最近発表した技術レポートは、その詳細な記述内容から高く評価されています。また、Vibhu 氏は当社のペーパークラブで Laguna の最新技術報告について取り上げています。

@latentspacepod の Laguna M.1/XS.2 テクニカルレポート解説！Latent Space のペーパークラブが深く掘り下げ、その見解は私たちがモデルファクトリーで目指したことを完璧に捉えています。動画からの抜粋をいくつか紹介します🧵👇 (1/6)

Eiso Kant 氏（@eisokant）による投稿：

コードへの投資が世界から注目される前、すでに言語モデル構築に 1200 万ドルを投じたこと。そして今では、モデルを事前学習からリリースまでわずか 8 週間で実現できる「モデルファクトリー」を創り上げたこと。Eiso Kant は、コードこそが AGI（汎用人工知能）への道であると信じ、10 年以上にわたりその信念を賭け続けてきました。

このエピソードでは、Poolside の共同創設者である Eiso 氏が、swyx 氏と Vibhu 氏と共に登場します。なぜ ChatGPT が彼の信念の裏付けとなったのか、なぜ Poolside がオープンウェイトやオープンリサーチを採用したのか、そして「たとえ Poolside がその 5 社の中にあっても、100 の基盤モデル企業がある世界を 5 つだけの世界よりも好む」という理由について語ります。

Poolside の「モデルファクトリー」に迫ります。同社では月間 1 万〜2 万回の実験を処理するエンジニアリング基盤を整備し、データをトレーニングへ直接ストリーミングしています。また、再現性の高い実験環境の構築や低精度計算の活用、そしてコード作成からジョブ起動、結果評価、さらには次世代モデルの学習パイプライン修正までを行う自律型エージェントの実装など、その仕組みの詳細を解説します。

Eiso は、最近リリースされた「Laguna S」についても言及しています。純粋な知能の規模よりも、永続性（persistence）、検証（verification）、そしてバックトラック（backtracking）の重要性が浮き彫りになった背景や、小規模モデルにまだ潜在する能力、事前学習の段階で強化学習を早期に導入すべき理由、そして次期トークン予測がウェブから十分に情報を抽出できていない現状などについても掘り下げます。

[Poolside@poolsideai 今日、当社で最も高性能なモデル「Laguna S 2.1」を発表します。これは、総パラメータ数 1180 億の Mixture-of-Experts モデルで、トークンごとに 80 億のパラメータが活性化されます。最大 100 万トークンのコンテキストウィンドウに対応し、「思考モード」と「非思考モード」を切り替え可能です。

2026 年 7 月 22 日午前 2 時 5 分、X（旧 Twitter）で投稿されたこのツイートは、すでに 65.6 万回の閲覧数、160 の返信、320 のリポスト、そして 2,180 のいいねを獲得しています。[https://x.com/poolsideai/status/2079613777343848465]

本稿では、他社モデルと互角に渡り合える能力を持つことについて議論します。さらに、Poolside が目指す「モデル・ハーネスの共設計（co-design）」や、コーディングエージェントから AGI へ至る道筋についても触れます。

また、Eiso 氏がなぜ MCP や従来のツール呼び出しを「愚かだ」と断じるのか、その背景にある最先端モデル訓練の実態経済学、Poolside が調達した 5 億ドルの資金活用、オープンソース AI の動向、規制への対応、NVIDIA と TSMC の影響力、エージェント時代におけるエンジニアリング生産性、高い自律性を備えたチーム運営、そして Poolside の採用戦略などについても詳しく解説します。

アンドレイ・カルパティの RNN の研究が、2015 年に Eiso がコード専用言語モデルの開発に着手するきっかけとなった理由

市場が関心を示すまで、Eiso は 4 年間にわたり 1,200 万ドルを投じて一つのアイデアを追求し続けた背景

ChatGPT の登場がいかにして自説の正しさを証明したか、そしてそれが Poolside をオープンソース回帰へと導いた理由

5 社による寡占体制よりも、100 社の基盤モデル企業が並存する世界を Eiso が望むその理由

「重み付きモデルの公開」と「真にオープンな研究発表」の違い

Poolside がベイエリアのタレント争奪戦から距離を置き、あえてグローバルな研究組織を構築した意図

モデル開発の本質が 90% はエンジニアリングであるという見解

The Model Factory: Poolside が高速なトレーニングと改善を実現するエンドツーエンドのシステム

70 名未満の研究員が月間 1 万〜2 万回の実験を回す仕組み

6 ヶ月にわたるモデル開発サイクルから、5〜8 週でのリリースへとスピードを加速させたプロセス

データをトレーニングに直接ストリーミングすることで、実験の速度が劇的に向上した理由

不変的なデータ、バージョン管理されたコード、再現性の確保が、厳密なモデル研究を支える仕組み

Eiso が有能な研究者に自らのラボから飛び出し、Poolside の競合他社となることを望む背景

モデル構築の 95% は、より良いデータや計算効率の向上に帰着できるという見解

Laguna S: 持続性、検証、バックトラックが純粋な知能よりも優位性を発揮する理由

想定以上に多くの知識労働を、小規模モデルが担えるようになる背景

強化学習が事前学習の段階へ前倒しされる理由

ウェブから十分な知識を引き出せないまま終わる「次トークン予測」の限界

蒸留と環境が AI 業界で最も好まれる「薬物」のような役割を果たすようになった理由

トレーニング途中での介入がいかにして初期のカリキュラム設計に他ならないか

低精度トレーニング、ネットワークボトルネック、そして計算効率における次の飛躍

Laguna S: 総パラメータ数 1,180 億、アクティブパラメータ 80 億、トレーニングからリリースまで 8 週間

新しいチェックポイントを最初の 30 分以内に評価できるモデルビルダーの能力

「モデル」と「ハーンネス（環境）」の違い：エージェントの能力はどこに宿るのか

Poolside がコーディングと長期にわたるソフトウェアタスクを AGI への道筋と捉える理由

Eiso が MCP や従来のツール呼び出しを「愚かだ」と断じる背景

未来のエージェントが数十種類の事前定義されたツールから選ぶのではなく、スクリプトを記述するようになる理由

最小限のハーンネス、コンテナ、そしてモデルの自由さを支持する論拠

Poolside がビジョン機能を最優先している一方、音声処理にはすぐに取り組まない理由

知識と推論をエンコードする上で、言語がいかに計算効率に優れたモダリティであるか

モデル開発における真のコストと、最終トレーニングがなぜ地味な結末を迎えるのか

Poolside という社名に込められた物語：野心を低下させることを拒否するという姿勢

AGI が実在するかどうかを投資家から問われる中、Poolside が 5 億ドルの資金調達を実現した背景

知能が世界で最も需要が高く、コモディティ化される資源となりうる理由

オープンモデルが制限なしに公開するにはもはや能力が高すぎる段階に至った時

世界的な競争環境下において、一方的な AI セーフティ対策が機能しない理由

規制が結果として 2〜3 社による寡占体制を固定化してしまうリスク

NVIDIA と TSMC、そして基盤モデルの進展を支えるハードウェアシステム

強化学習における壁時計時間の短縮が、Poolside の最大のボトルネックである理由

既存の大規模モデルからの蒸留に頼らず、ゼロからモデルを訓練する Poolside の方針

AI が企業のエンジニアリング生産性の測定方法をどう変えるか

AI エラにおいて従業員にとって最も重要な資質が「自律性（アジェンシー）」となりうる理由

リーダーが高自律的な人材を共有目標と明確な制約を通じていかに結束させるか

Poolside における研究、トレーニング後処理、事前学習、アーキテクチャ、評価、エンジニアリング各分野の採用戦略

LinkedIn: https://www.linkedin.com/in/eisokant

X: https://x.com/eisokant

Poolside: https://poolside.ai

00:00:00 イントロダクション

00:00:54 カルパティ、RNN、そしてトランスフォーマー以前にコードモデルを構築する

00:02:26 1,200 万ドルの失敗と ChatGPT による証明

00:03:39 オープンソースと「100 の基盤モデル企業」論

00:09:22 オープンウェイト、オープンリサーチ、そして Poolside のグローバルチーム

00:16:04 モデルファクトリー：なぜモデル構築の 9 割はエンジニアリングなのか

00:20:19 エージェント、自動化された実験、そして RSI（反復的学習）の兆候

00:24:04 ストリーミングデータ、再現性、そして科学的厳密さ

00:30:35 新たな基盤モデル企業の創出

00:36:07 Laguna S：持続性と純粋な知能の対比

00:43:01 プリートレーニング、RL（強化学習）、カリキュラム設計の再発明

00:52:33 低精度トレーニングと小型モデルからの最大限の引き出し

00:58:37 モデルハルネス、コーディングエージェント、そして AGI への道

01:09:26 なぜ MCP と従来のツール呼び出しは「愚か」なのか

01:13:04 ビジョン、マルチモーダル性、そして言語の重要性

01:18:15 モデルのスケーリングとトレーニングの実質的な経済学

01:20:40 「Poolside」という名前の由来と 5 億ドル調達

01:27:37 オープンモデル、AI セーフティ、そして寡占化のリスク

01:33:53 NVIDIA、TSMC、そして強化学習のボトルネック

01:41:52 小型モデル、蒸留、エンジニアリング生産性、そして採用

Swyx [00:00:00]: さて、スタジオには Poolside の Eiso Kant 氏と Vibhu 氏を迎えています。ようこそ。

Eiso Kant [00:00:08]: ありがとうございます。お招きいただき光栄です。

Swyx [00:00:10]: ちょうど飛行機から降りたばかりですね。先ほど「SF に向かっているところです」とメッセージをくれましたが、まさか今まさに搭中だと想像していませんでしたよ。

Eiso Kant [00:00:16]: そうですね。あなたに連絡した直後に、時差ボケで来ると今日が少し大変になるかもしれないと気づきましたけど、やってみましょう。

Swyx [00:00:23]: 僕がゲストにお勧めするのは、あまり準備しなくていいってことなんです。もしあなたが毎日この分野に没頭しているなら、ぼんやりとした記憶でも、あなたの世界を毎日送っているわけではない聴衆にとっては新鮮な内容になるはずです。そういえば、10 年前には Google Slush で「AI の民主化」についてお話しされていましたよね。そして今、私たちはこれから議論する画期的な新モデルのオープンソース化に取り組んでいます。では、どうしてあなたは AI の民主化に関心を持たれたのでしょうか？LinkedIn などの経歴からはあまり想像できないことですが。

Eiso Kant [00:00:57]: いや、全くそうではありませんね。私がこの分野に入った経緯がなぜか分からないのも無理はありません。実は、この道に進んだのは Andrej Karpathy 氏のおかげです。

Eiso Kant [00:01:05]: 2015 年、彼が「再帰型ニューラルネットの不合理な効果」という記事を書きました。

Swyx [00:01:10]: ニューラルネットですね。

Eiso Kant [00:01:11]: その記事を読んで、私はその場でスタートアップの方向性を転換し、RNN（リカレントニューラルネットワーク）や後の LSTM、そして Transformer モデルを使ってコードを記述する研究に注力しました。その記事を読み進めていくと、現在の言語モデルへと発展していく前段階が垣間見えます。当時は文字レベルの言語モデルが文字を予測し始めていた時代で、例えば「小さなポール・グレアム生成器」のような例も紹介されていました。テキストは意味を成しているように読めますが、実際にはそうではありません。さらに下の方にはコードの例もありましたね。シェイクスピアです。

Swyx [00:01:47]: シェイクスピアですか。

Swyx [00:01:49]: 素敵ですね。

Eiso Kant [00:01:49]: なぜかその記事を読んで、RNN や LSTM についてできる限りのことを学び始めました。これが Transformer の論文です。私は当時、「ニューラルネットワークはあらゆる事象に一般化できるはずだ」という、あまりにも不合理な信念を抱いていました。言語もまた、知能を必要とする多くのタスクやコード記述能力へと一般化できると信じていたのです。そこで私は「Sourced」を立ち上げました。これは「コード上の機械学習」、つまりコードを対象とした言語モデルを開発しようとしていた完全オープンソースの会社です。私たちは 2019 年末まで、約 4〜5 年かけてこの取り組みに没頭しました。今ならとてもクールに聞こえる話ですが、当時は誰も関心を示しませんでした。

Eiso Kant [00:02:29]: その通りです。誰も関心を持っていませんでした。私たちは闇の中を歩んでいたのです。その過程で、コードの構造に畳み込みニューラルネットワーク（CNN）を適用してみたり、アテンション機構が発表された際には LSTM にそれを組み込んでみたりしました。そして Transformer の論文が登場しましたが、当時はそれが正解だと直感的に分かることではありませんでした。この一連の旅を通じて見落としていたのは、私たちが正しい道を進んでいたにもかかわらず、ただ規模を拡大し続ければよかったという点です。

今日では、スケーリング法則やモデルのスケールアップは誰にでも明白な事実のように思えます。しかし、コード言語モデルの開発に 4 年、5 年もの人生を捧げた私にとって、それは決して自明のことではありませんでした。だからこそ、その確信を持って突き進んだ Google や OpenAI の人々、そして他の関係者たちには深い敬意を抱いています。結局のところ、私たちは当時失敗しました。それが私のキャリアにおける最大の失敗だったのです。投資家から預かった 1200 万ドルを失ったのですから。当時の金額としては莫大な額でした。

Swyx [00:03:18]: はい。

Eiso Kant [00:03:19]: 当時はまだ多くの時間を費やし、40 人ほどのチームでこの問題に没頭する日々を数年間過ごしました。しかし人生の転機が訪れ、家族が優先されるようになり、私は顔を伏せて、その後の 2 年間は言語モデルにはほとんど目を向けませんでした。これは大きな誤算でした。なぜなら、これからの数年は本当に面白い展開を見せるからです。そして ChatGPT が登場し、まるで私の信念の証明となったような感覚がありました。人々が私にメッセージを送り始め、昔の資料や発表スライドを改めて見返すことになりました。この一連の旅を通じて、私たちは

Eiso Kant [00:03:56]: 当時、強い確信を持っていました。より高度な知能を構築するほど、それはオープンで、かつオープンソースであるべきだと。

Eiso Kant [00:04:04]: Poolside を立ち上げた当時は、その考えとは全く異なる状況でした。正直に話しましょう。Poolside を始めた際、私たちは 2 つの前提に基づいていました。1 つ目は、この技術は能力の向上を止めることなく、複合的に発展し続けるという点です。現在では多くの人が当然のこととして受け入れているかもしれませんが、3 年以上前、私たちが活動を開始した当時は、まだ「これらが確率的なオウム返し（stochastic parrots）ではないか」という議論が交わされていたのです。

Eiso Kant [00:04:23]: 2 つ目のポイントは、強化学習が LLM の能力向上を牽引する最大の要因になると考えていたことです。今となっては明白な事実ですが、3 年前の時点では OpenAI や Google、Anthropic など他社でも、そのような意見や方向性が共有されているわけではありませんでした。そのため、私たちは周囲から少し冷たい視線を向けられることもありました。「本当にこれでうまくいくのか？」と疑う声も聞こえてきたのです。それでも私たちは問題解決に没頭し、オープンソース化については一度も考え直すことはありませんでした。ひたすら低头して取り組むことに徹したのです。ゼロから知識や理解を積み上げる必要がありました。既存のラボを引き継いだわけではなく、論文を読み込み、コードを書き始め、一つひとつ仕組みを解明していきました。

Eiso Kant [00:04:59]: そして今年に入り、ようやく私と共同創業者の Jason がオープンソースに関する議論に再び取り組み始めたのです。

Eiso Kant [00:05:07]: 当社のウェブサイトの初期の記述を振り返れば、その想いは非常にシンプルでした。AGI（汎用人工知能）の実現を目指し、豊かさが溢れる世界を支えたい。そして、その目標を最初に達成する企業になりたい——そう考えていました。

Eiso Kant [00:05:20]: 私たちが話し始めたのは今年初めです。世界が私たちを少しずつ脅かす方向へ進んでいることが明らかになったからです。これは一夜にして起きたことではありませんでした。私たちは徐々にその兆候を感じ取り、「さて、世界は特定の道を進みつつある」と認識しました。この旅路の中で、私は一つの比喩をよく使いました。2015 年や 2016 年頃の話を思い出してください。当時、棚から SF 小説の一冊を取り出し、2035 年に AGI（汎用人工知能）が達成されるという物語を読み進めていたのです。その物語はその後数十年にわたって続きます。最初の章では人々が様々なことを模索し、次に ChatGPT が登場する章へと移り、やがて世界が分岐点に立つ章になります。そこで選ばれた道とは、数社あるいは十数社の企業が未来の知能を独占してしまうというものでした。

Eiso Kant [00:06:21]: その物語を考えると、それはユートピアを描いた SF 小説ではなく、ディストピア（暗黒郷）を描いた作品のように感じられました。私は本来、ユートピア的な SF を好む人間です。そこで私たちは一歩引いて考えました。「ここで私たちにできる役割はないだろうか？」と。幸いにも、私たちにはそれを容易に実行できました。なぜなら、私たちはすでに最先端の領域にはいなかったからです。

Eiso Kant [00:06:41]: 私たちが最先端の立場にいたなら、方針を変えることは考えられなかったでしょう。これは、資金や期待が膨らみ、すでに多くのものを築き上げてしまったから変更できないという意味ではありません。私たちは小規模なチームとして、改善を続けただけです。だからこそ、今ならその決断を下すことができましたが、最先端に近づき、他社との差が縮まるにつれて、それははるかに困難なものになっていたはずです。

私たちは多くの内省と議論を重ね、「それでもこの方針には合理性がある」と結論づけました。オープンソースのファウンデーションモデルでどうビジネスモデルを構築するかといった、未解決の大きな疑問があってもです。また、モデルの誤用が現実的なリスクを伴うようになるのはどの時点か、政府はオープンソースにどう対応するのかといった、まだ完全な答えが出ていない問いもあります。

しかし、すべてを一言で表すなら、それは「私がその 5 つの企業の一角になろうとも、100 のファウンデーションモデル企業がある世界に住みたい」という一点です。100 の企業が存在するために私たちにできる最も小さく、かつ意味のある貢献とは、研究と重み（ウェイト）をオープンにすることであり、その過程でさらに多くのことを実現する方法を探っていくことです。

Swyx [00:08:01]: はい。むしろここ 3 年間で、この考えはより現実味を帯びてきたように思います。あなたは「ネオ・ラボ」と呼ばれる一群の一人です。

Eiso Kant [00:08:10]: はい、その通りです。

Swyx [00:08:10]: 現在、人々はそれをそう呼んでいます。そして、この議論が行われているのはちょうど Thinky が新モデルをリリースした日です。彼らが公開したベンチマークにおいて、貴社は彼らを上回る結果を出していますよね？まだ彼らにはその実力がないことを示す好例だと言えます。これは、複数のプレイヤーが共存する余地があるという話で、未来の姿を少し垣間見せているのかもしれません。100 社ではなく、20 社の時代になるでしょうが、貴社はまさにその一角を担う存在です。

Eiso Kant [00:08:36]: そうであってほしいですね。彼らのリリースには私も興奮していますし、皆がモデルを公開すること自体も歓迎です。結局のところ、選択肢の多さと競争こそが、正しい方向への進歩を促すからです。しかし同時に、私たちが同じデータという井戸から汲み上げてモデルを作成しているにもかかわらず、各社で導入される振る舞いやバイアスには大きな違いが生じます。意図的に組み込まれたバイアスもあれば、全く予期せぬバイアスもあります。

Swyx [00:09:03]: そうですね。

Eiso Kant [00:09:03]: もしオープンなモデルがトークン経済の一部となるようなエコシステムが世界に広がったとしたら、その事実に異論を唱える余地はないでしょう。そうなれば、企業も国家も個人も、「この機能については、このプロバイダーが最も適合しており、信頼できる」と選んで生きられる世界を目指すべきです。

Swyx [00:09:25]: 確かにその通りです。

Vibhu [00:09:26]: 最近まで、オープンソースのイノベーションは中国のラボから生まれることがほとんどでした。Neo Labs の 20 社以上がいますが、その中で「欧米版 DeepSeek」のような存在は本当にあるのでしょうか？もしかすると Thinking Machines のようなリフレクションを指しているのかもしれません。しかし、実際にはそう多くはありません。

フランスやヨーロッパで始めた取り組みも、現在はアメリカの視点を取り入れつつあります。それだけでなく、私たちが目にする中国製のモデルは、必ずしもオープンな研究とは限りません。一方、皆さんが発表する成果は、私が知る限り最高水準です。数ヶ月に一度、最先端のモデルを公開するだけでなく、その構築に至るまでの詳細なブログ記事や論文、技術レポートも同時に提供しています。これにより、「最先端知能」をどう作るかという部分で、大きな穴を埋めているのです。

つまり、単に重み（weights）をオープンにするだけでなく、欧米の枠組みにとどまらず、研究プロセスそのものを広く公開している点も評価されています。

Eiso Kant [00:10:20]: いいえ、感謝しています。でも、これは最も意義ある貢献だと思います。重み（weights）は単なるバイナリデータに過ぎません。そう呼ぶべきです。確かにそれらを修正したり変更したりすることはできますが、他人に重みを渡しても、最終的に私が何をしているのかを再現させることはできません。

そのため現在、データセットの公開や特定の情報の開示には課題があります。しかし、研究内容を共有する方法はありますよね？どうすればよいでしょうか？数万回もの計算リソースを費やして得た実験から学んだ教訓とは何か。これこそが問われていることです。

ただ一つ訂正させてください、Vibhu さん。これは長年私たちを悩ませてきた点だからです。私たちは設立当初からアメリカ企業でした。

Swyx [00:10:55]: はい。

Swyx [00:10:56]: フランスに移転したのです。

Eiso Kant [00:10:56]: 結論から言うと、私たちのストーリーは明確です。私たちは創業以来一貫してアメリカ企業ですが、初期の段階で非常に意識的な決断を下しました。

「ベイエリアの研究員は雇わない。世界の他のあらゆる場所で人材を探そう」と。これには中米、シアトル、セルビア、台湾、シンガポールなど、世界中の地域が含まれます。この方針を選んだのは、これが将来の「人材戦争」になるという見通しがあったからです。実際、ここ数年でその傾向は明白になっています。3 年前はまだ完全に明らかではなかったかもしれませんが、今では誰もがそれを認識しています。

さらに、世界で最も有能な人々や、最も斬新で独創的なアイデアを持つ人々は、必ずしもアメリカにだけいるわけではないことも理解しました。そこで私たちは完全リモート型の会社を構築することにしたのです。その後、パリやロンドンなどにもオフィスを開設し、チームの多くは米国に、また多くのメンバーが海外に在籍しています。

「アメリカ企業ではあるが、最高峰の人材と協力するにはグローバルな視点が必要だ」という考えは一貫して持ってきました。現在もシリコンバレーには社員の一人や他のメンバーがいますが、この方針は初期段階では少し足かせになったものの、現在はむしろスピードを加速させる要因となっています。これが、私たちのモデルの進歩やリリースペースに表れている理由です。

私たちは既存の研究ラボからスタートしたわけではありませんでした。当時、ここでは情報が自由に流通しているという前提もありませんでした。「とにかく問題を解決しよう」という姿勢で臨み、出ている数編の論文を読み込み、自らの頭で考え抜いたのです。その結果、モデルトレーニングにおいては数年にわたり、いくつかの笑えるようなミスを犯すこともありましたが、それが今の基盤を作りました。

Eiso Kant [00:12:35]: 特に最初の 12 ヶ月頃は、今でも私を悩ませたり怖がらせたりする出来事がいくつかありました。これらについては後で詳しく話しましょう。しかし、あの時期にチームには強いレジリエンスと継続性が生まれました。長年にわたり、私たちから離れていった人は極めて少なかったのです。

「大丈夫、私たちはこれを成し遂げられる」という確信が持てたのは、最初のトレーニングコードベースをゼロから完全に書き上げた時でした。既存のオープンソースをフォークしたわけではありません。「よし、ゼロから作ろう」と決意したのです。ある時、オプティマイザーの不具合に 3 週間も格闘したことを覚えています。訓練が一向に安定しなかったのです。私たちはそのことに執着し、「もしかしたら私たちの考え方が間違っているのではないか」「あのリポジトリをフォークすべきだったのではないか」とさえ思いました。

しかし、その問題を解決した時、当時の会社にはたった 5 人しかいませんでした。問題が解決した瞬間、私たちは「頑張れば何だってできるんだ」と実感しました。このように、エンジニアリングへの強いバイアスを持つ文化こそが、私たちが今の位置に到達できた要因だと考えています。

オープンソースや人材といった要素も重要ですが、私たちは異なる出発点から異なる決断を下してきたのです。私はこれを単なる「幸運」だったと認めたいと思います。チームの多大な努力は、今まさに結果として表れ始めています。

Swyx [00:13:52]: 今後この話題に戻らない可能性が高いので、もし答えを知っている方がいれば面白い採用課題になりますね。あのバグは何だったのでしょうか？そして、解決策についてはここではお話ししません。

Eiso Kant [00:14:01]: ええと、その…記憶を問うことになりますが、

Swyx [00:14:04]: ああ、わかりました。

Eiso Kant [00:14:04]: そうですね、覚えていられると思います。

Swyx [00:14:05]: そのまま話してください。

Eiso Kant [00:14:05]: 例えばオプティマイザーに Adam を使った場合を考えてみてください。分母にはイプシロン（ε）が含まれています。

Swyx [00:14:12]: はい。

Eiso Kant [00:14:13]: そうです、まさに分母の中にありますね。

Swyx [00:14:14]: モメンタムや重みもそうですね。

Eiso Kant [00:14:15]: その当時のことを思い出せば、初期の Llama の論文などを参照した際、イプシロンの値を意図的に大きく設定しているケースがありました。具体的には E-4（10 のマイナス 4 乗）のような高い値を指定していたのです。

Eiso Kant [00:14:31]: 学習中にこれを考えると、分母に実質的にランダムな数値を足すことでオプティマイザにノイズを加えているという点で、少し奇妙で直感に反する感覚があります。小数点の後ろに数字を足しているようなものです。正確なバグの内容は覚えていませんが、解決した後に気づいたのは、Llama の論文や他の事例で行われていたように、イプシロン（ε）を無理やり大きくする必要がなくなったことです。

これは「あの論文に出ているからこうあるはずだ」「この値の高いイプシロンが必要に違いない」という前提を盲信していた瞬間の転換点でした。しかし直感的には全く納得できませんでした。「なぜこれほど大きな値にする必要があるのか？単にゼロ除算を防ぐだけなら、極めて小さな値で十分ではないか？」と。

まさに「ゼロから自分で発見することこそが、より良い直感を育む」と気づいた瞬間です。モデル構築において最も早く学べることは、自分が最初に持っていた直感がどれほど厳しく打ち砕かれるかということです。

Eiso Kant [00:15:33]: そうですよね。これはまさに実験科学そのものです。一見すると明白に見えることが、すぐに「あなたは間違っていた」という事実によって覆されます。なぜそうなるのかを理解できれば幸いですが、時にはそれができないこともあります。

Swyx [00:15:45]: はい。はい、新モデルをリリースした際、Vibhuが非常に興奮していた理由の一つがあります。実際、誰もが興奮しましたね。Vibhuはそれについて私たちの論文クラブを主導してくれましたし、皆さんもご存知の通りです。

Eiso Kant [00:15:58]: はい。

Swyx [00:15:58]: 当然ですね。そこで、公開できる範囲でその時の教訓や学んだことをいくつかお話しいただければと思います。モデルファクトリーに関する話題に焦点を当てて、あるいは良い出発点となる他のトピックからでも構いません。

Eiso Kant [00:16:08]: そうですね。当社では創業当初から、「モデル構築は究極的に9割がエンジニアリングである」という考えを持っていました。

Eiso Kant [00:16:18]:業界全体で誰もが知っている通り、研究者たちが時間を費やしているのはコードの記述とデータの見直しです。3 年前の状況を振り返ると、学習プロセスは Bash スクリプトや Slurm、そしてスパゲッティ状に絡み合ったコードベースに依存していました。データパイプラインも手作業でつぎはぎされた状態でした。

しかし私たちは、「モデル構築とは本質的に一つの工程である」と考えました。ウェブなどの生データを原料として、フィルタリング、クリーニング、変換、分析といった一連の処理を経ていくのです。現在では、3 年前よりもはるかに複雑化しています。その後は大規模な分散システムを扱うようなモデル学習へと進みます。ハードウェア自体は以前より信頼性が向上しましたが、それでも世代ごとに新たな課題が生じます。

さらにその先には、ポストトレーニングや強化学習といった次の段階があります。かつては学習プロセスすら存在しなかった時代から、こうした工程を経てきました。これらはすべてが産業化されたプロセスであり、各工程に専用の機械装置が存在する終着点のようなものだと気づいたのです。大規模なデータパイプラインもあれば、ウェブのクローリングや取り込み、大規模分散学習、そして信頼性の確保といった要素があります。

そこで私たちは、「世界有数の分散システムエンジニアを、研究プロセスの最初から巻き込んでみないか」と提案しました。後付けではなく、ゼロから組み込むのです。こうして「モデルファクトリー」が誕生しました。当初は数少ないコンポーネントで始まったこの仕組みは、現在では数千ものコンポーネントに成長しています。

これは、フォックスコンの創業期に関わっていた人がその後 10 年をそこで過ごし、システム構築に至るすべての決定と複雑さを理解していたら、再びフォックスコンを再建できるようなものです。もし今日、私たちがフォックスコンを訪れたとしても、その仕組みを理解して再構築することは不可能でしょう。

Eiso Kant [00:18:18]: その通りです。なぜなら、そこに至るまでの意思決定の系譜や歴史が存在しないからです。そのため私たちは最初から、その点を理解したチームを編成しました。私たちが最適化すべき指標は、研究者のアイデアが信頼できる実験結果となり、それが次のモデル学習に繋がるまでのスピードなのです。

Eiso Kant [00:18:42]: 当初は複雑さの低い実験的な科学分野だったため、その場しのぎのパッチで乗り切ることができました。しかし現在では、あらゆる基盤モデル企業において、大規模な運用が常態化しています。

私たちが属するチームは研究者が 70 名未満、エンジニアが 35 名という小規模ですが、月間に 1 万回から 2 万回もの実験を走らせています。最新の数字を確認していませんが、少なくともこの規模です。つまり、モデルの運用一つひとつにおいて、インフラとしての信頼性を担保できることが不可欠なのです。

私たちは長年にわたり、その課題に取り組み続け、改善と徹底した最適化を通じて、この分野でのノウハウを確立しました。その結果、先ほどご紹介した「Laguna XS 2」は、トレーニング開始からローンチまでわずか 5 週間で実現できました。今日お話しするモデルに至っては、8 週間です。

さらに、現在進行中の次のモデルのトレーニングも、昨日にはすでに開始しています。今週ローンチ予定のモデルに必要なポストトレーニングが完了したため、その計算リソースを、現在トレーニング中のより大規模な「Laguna M」モデルへ移行したのです。

つまり、モデルとは誰かのプロセスが生み出した産物に過ぎず、それ自体が独立した存在であるべきではありません。私たちはこれを、SpaceX の工場のように捉えています。最初のロケットを作るのは確かに困難ですが、真の難所は工場の構築にあります。現在ではロケットが次々と生産ラインから降りており、次の打ち上げについて人々が特別に意識することはありません。それは単なる「別の打ち上げ」であり、「別のロケット」が生まれるだけです。

私たちが目指しているのもまさにこれです。モデルビルディングを、そのような工場のプロセスとして確立していくことなのです。

Eiso Kant [00:20:22]: 当初は計画されていなかったこと、しかしいつか訪れると心の中で想定していたことが実現しました。それは、優れた API と堅牢なエンジニアリングシステムを備えた高品質なモデルファクトリを構築した時です。では、そんな環境に最も適しているのは何でしょうか？答えは「エージェント」です。

Eiso Kant [00:20:40]: なぜなら今、私たちのモデルファクトリにおいて、エージェントが担う業務の割合が増え続けているからです。

Vibhu [00:20:43]: はい。

Eiso Kant [00:20:44]: 実際、私が社内のスクリーンを歩きながら見ている光景もそうです。月次で実施するオンサイト会議では、研究者たちの背後に立ち、話を聞きますが、画面に表示されているデフォルトの状況は、コード作成やジョブの実行、モデル実行からの結果評価、そして修正作業などを行う複数のエージェントです。私たちは依然として運転席に座り、アイデアを提案し、デバッグをサポートしています。しかし、特にデータパイプライン（事前学習・事後学習および合成データの分野）においては、その影響は非常に顕著です。今後はアーキテクチャの側面にも広がりつつあり、RSI の姿がうっすらと見え始めています。

Eiso Kant [00:21:27]:

モデルファクトリーについてお話しする際、私がいつも例に挙げるのがこれです。新しいトレーニングランを開始する際、大規模な学習であっても、リリース用の後処理バージョンの 1 つや多数の実験であっても、関係ありません。ある日に行われた変更とその日の実験結果が、そのランに即座に反映されるのです。

Eiso Kant [00:21:57]:

つまり、90 日前のようなカットオフ期間はありません。今では機械を信頼できるため、その瞬間から即座に適用されます。そして、信頼性の向上にも投資する必要があります。私が最も気に入っている指標の一つが、Laguna S ではコールイベント（緊急対応が必要な事象）が一度も発生しなかったという点です。完全にゼロでした。この 1 年間、私にとって「何か起きて目を覚まさなければならない」という意味のあるコールイベントは一度もありませんでした。

ただし、一つ例外があります。新しいモデルランを立ち上げてから最初の 6 時間以内は、設定ミスや小さな過ちなどにより何かが壊れることがよくあります。そのため、通常は多少の介入が必要になりますが、それは常に「コール期間外」で行われます。つまり、緊急対応が必要な事態にはならないのです。

このように状況が改善されつつあり、現在リリースしているモデルも素晴らしいものですが、私たちはすでに次のモデルに取り組んでいます。これが本来あるべき姿だと私は考えています。

Vibhu [00:22:50]: 一つ付け加えたいのですが、文脈としてこれは約一ヶ月前の話です。私たちは技術レポートからこの情報を入手し、「新しいモデルが出たらしい」という軽い気持ちで入ってきました。

Eiso Kant [00:23:02]: はい、私たちは数ヶ月に一度こうした作業に慣れています。

Vibhu [00:23:03]: 最初は「なるほど、Kimi や DeepSeek、あるいは Gemma レベルの小型モデルと同等か。これは構築プロセスについて書かれた素晴らしい論文だ」と思っていました。しかし、ページをめくると、技術レポートのたった 2 ページ目にこう書いてあるのです。「このプロセスにより、教訓を適用して小型モデルをゼロから開発し、5 週間でリリースまで完了させた」。そこで気づきました。これは単なるベンチマーク結果や学習トークン数を紹介する技術レポートではないのです。もしあなたがポッドキャストでは議論しない詳細な内容に深く入り込みたいなら、すべてここに書かれています。

Eiso Kant [00:23:38]: はい。

Vibhu [00:23:39]: エージェントがトレーニングコードやデータと対話するために使用するカスタムソフトウェアなどです。

Eiso Kant [00:23:45]: そうですね。論文へのリンクは正確に記述しておきましょう。

Vibhu [00:23:47]: はい、それらすべてについて。論文はこちらで読んでみてください。

Eiso Kant [00:23:50]: ぜひ読み進めたいですね。私は原則を好むので、それが物語を語るための良い出発点になると考えています。原則を一つずつ見ていきましょう。ただ、Dagster が Prefect に買収されたことは付け加えておきます。

Vibhu [00:24:01]: はい。

Eiso Kant [00:24:01]: 面白いですよね。ただ、Dagster はよく知っていますね。何かのストーリーがトリガーされるような場面では特に便利です。