Arcee AI、米国産オープンモデルに全集中

Arcee AI は、オープンモデルの収益化において最も現実的なアプローチを取っていると私が評価しているスタートアップです。過去に特定の顧客ドメイン向けポストトレーニングオープンモデルで多くの経験（および収益）を積んできた彼らは、自らを証明すると同時に、米国で構築されたより大規模で高性能なオープンモデルを事前トレーニングすることでニッチ市場を埋める必要があると気づきました。彼らは私が「ATOM プロジェクト」に対して呼びかけた行動に最も熱心に答えてくれるグループであり、私はすぐに彼らと友人になりました。 本日、彼らはこの転換の集大成としてフラッグシップモデル「Trinity Large」を発表します。この発表を前に、CEO の Mark McQuade 氏、CTO の Lucas Atkins 氏、事前トレーニング責任者の Varun Singh 氏と座談会を行い、以下について幅広く議論しました。 オープンモデルとクローズドモデルの現状（および将来） オンプレミス展開用のオープンモデル販売というビジネス Arcee AI の物語とこのトレーニングランへの「全振り」 ATOM プロジェクト 6 ヶ月でフロンティアモデル訓練チームを構築する過程 その他多くの素晴らしいトピック。私はこれをとても気に入り、あなたもきっと気に入ると思います。 上記のブログ記事および技術レポートには、モデルのトレーニングに関する多くの素晴らしい詳細が含まれており、私はまだその内容を掘り下げています。Arcee がこれまで行ってきた素晴らしい取り組みの一つは、「真のベースモデル」を公開することです。これらは、SFT（Supervised Fine-Tuning：教師あり微調整）データや学習率の減衰（learning rate annealing）を含んでいません。Trinity Large モデルは、MoE（Mixture of Experts：専門家混合）アーキテクチャを採用し、総パラメータ数は 400B、アクティブなトークン数は 13B で、17 トリリオンのトークンを学習済みです。これは、Nvidia Blackwell の B300 マシン上でこの規模で公開されたトレーニング実行の最初の例となります。 プレビューとして、現在進行中の推論モデルのスコアが、今日のオープンモデル界隈における主要な競合他社と比較して共有されました。米国で構築されたオープンモデルがこのようにスケールアップすることは、大きな一歩です。 ![image](https://substackcdn.com/image/fetch/$s_!LJha!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F3394c20a-e9b8-4dd4-8acd-406871eb9a02_1465x961.png) すべての詳細をここで明かすわけにはいきませんので、ぜひポッドキャストをお聞きください。ただし、ブログ記事の「コスト」に関するセクションは、ポッドキャストのトーンをよく設定しています。これは、オープンモデルをどのように、そしてなぜ構築すべきかについて非常に率直な議論が行われるものです。 このトレーニングを開始した際、私たちはこれに匹敵する事前学習（pretraining）をこれまで一度も行ったことがありませんでした。 これが成功する保証はありませんでした。モデル設計も、データも、トレーニング自体も、運用面もです。例えば、朝起きて、多額の費用がかかるジョブが破綻している状態から目覚めることになり、再起動するか救済を試みるかを決断しなければならないような状況です。 すべてに注力しました——計算資源、給与、データ、ストレージ、運用。この全体的な取り組みを 2,000 万ドルで成し遂げました。4 つのモデルが、6 ヶ月という短期間でこれを実現しました。 この数字は私たちにとっては大きなものです。しかし、最先端研究所が単に事業を継続するために費やす金額と比較すれば、まだ小さいです。私たちは無限回の再試行ができるわけではありません。 この投稿を投稿した後、すぐにそのモデルを試してみようと思います。みなさんがどのような発見をするかも楽しみです。 共有する Apple Podcasts、Spotify、YouTube、およびポッドキャストが聴けるあらゆる場所で視聴できます。他の Interconnects のインタビューについては、こちらをご覧ください。 ゲスト Lucas Atkins — X, LinkedIn — CTO; 事前トレーニングとアーキテクチャを主導し、Trinity Manifesto を執筆しました。 Mark McQuade — X, LinkedIn — 創設者/CEO; 以前は Hugging Face（収益化）、Roboflow に在籍。エンタープライズグレードのオープンウェイトモデルとツールリングの実装に注力しています。 Varun Singh — LinkedIn — 事前トレーニングリーダー。 インタビューの大部分は Lucas と行われますが、Mark と Varun も適切なタイミングで素晴らしい補足を加えてくれます。 リンク コア: Trinity Large（総計 400B、アクティブ 13B）コレクション、ブログ記事。現在インストラクションモデル、間もなく推論モデルを提供します。 Trinity Mini、総計 26B、アクティブ 3B（ベース、事前アニーリングチェックポイントの公開を含む） Trinity Nano Preview、総計 6B、アクティブ 1B（ベース） オープンソースカタログ：https://www.arcee.ai/open-source-catalog API ドキュメントとプレイグラウンド（デモ） ソーシャルメディア: GitHub, Hugging Face, X, LinkedIn, YouTube Trinity モデル: Trinity モデルページ：https://www.arcee.ai/trinity The Trinity Manifesto（読むことを強くお勧めします）: https://www.arcee.ai/blog/the-trinity-manifesto Trinity HF コレクション — (Trinity Mini & Trinity Nano プレビュー) 旧モデル: AFM-4.5B（およびベースモデル）— 彼らの最初のオープンで、社内事前学習されたモデル（ブログ投稿）。 5 つのオープンウェイトモデル（ブログ）：3 つの生産用モデルは以前、同社の SaaS プラットフォームに限定されていたが、AFM への焦点シフトに伴いリリースされた研究用モデル 2 つを含む。Arcee-SuperNova-v1, Virtuoso-Large, Caller, GLM-4-32B-Base-32K, Homunculus オープンソースツール: MergeKit — モデル統合ツールキット（LGPL ライセンスの復帰） DistillKit — 知識蒸留ライブラリ EvolKit — 進化的手法による合成データ生成 関連記事: Datology における Arcee のケーススタディ チャプター 00:00:00 イントロ：Arcee AI、Trinity モデル & Trinity Large 00:08:26 企業の事前学習への移行 00:13:00 技術的決定事項：Muon と MoE（Mixture of Experts） 00:18:41 スケーリングと MoE 訓練の課題 00:23:14 事後学習および RL（強化学習）戦略 00:28:09 チーム構成とデータスケーリング 00:31:31 トリニティ宣言：米国製オープンウェイト 00:42:31 専門特化型モデルと蒸留 00:47:12 インフラストラクチャおよび 400B モデルのホスティング 00:50:53 オープンソースをビジネスの堀として 00:56:31 予測：2026 年の最良モデル 01:02:29 ライトニングラウンド & 結論 今すぐ購読する 文字起こし ElevenLabs Scribe v2 で生成され、Claude Code with Opus 4.5 でクリーニングされた文字起こし。 00:00:06 ネイサン・ランバート：私はアーシー AI チームの皆さんと一緒にいます。個人的に、私はアーシーを少しファンになりました。なぜなら、彼らがオープンモデルの構築を中心に会社を立ち上げようとしている取り組みは、勇ましく非常に理にかなった方法だと考えるからです。実際、オープンモデルに対する良いビジネスプランを持っている人は誰もいませんし、それを理解しようと試み、時間をかけてより優れたモデルを構築していくしかないのです。オープンソースソフトウェアと同様に、公開で開発を行うことが、これを実現する最善の方法だと思います。つまり、これはあなたが何に取り組むにしても、すぐに走り出すための車輪のようなものです。今週、彼らはこれまでで最大のモデルを発表します。私は大規模な MoE（Mixture of Experts）のオープンモデルをもっと見てみたいと非常に楽しみにしています。昨年、中国から少なくとも 10 のプロバイダーがこうしたモデルを出しているのを確認しました。明らかにこれは国際的な潮流であり、多くの人がモデルを構築していますが、何らかの理由でアメリカではオープンモデルを構築する人の数が少ないようです。モデルを構築している場所であれば、その仕事の質に立脚できると思います。とにかく、これ以上長々とは話しません。電話に出ているのはルカス、マーク、そしてヴァルーンです。彼らの一部は知っていますが、私たちは友人関係にあります。このモデルについて話し合い、アメリカでオープンモデルを構築することについて議論しましょう。ポッドキャストにお越しいただきありがとうございます。 00:01:16 マーク・マククエイド：お招きいただきありがとうございます。 00:01:18 ルカス・アトキンス：はい、はい。お招きいただきありがとうございます。とても楽しみです。 00:01:20 ヴァルーン・シンガー：ここにおいでできて光栄です。 00:01:20 ネイサン・ランバート：この「Trinity Large」について、人々が知っておくべきことは何でしょうか？実際のモデル名は何ですか？あなたはこのことに対してどれほど興奮しているのですか？ 00:01:29 ルーカス・アトキンス：ええと、はい。 00:01:29 ネイサン・ランバート：つまり、ついに達成されたのでしょうか？ 00:01:32 ルーカス・アトキンス：ええと、ご存知の通り、これはリリース前に少し早めに録画しているため、まだすべての準備を整えている最中です。また、この規模での推論（inference）は常に課題となりますが、私たちは-- 私たちの最初の密なモデルである 45 億パラメータ（4.5B）を昨年 2025 年 7 月にリリースして以来、ちょうど 6 ヶ月間のスプリントを行ってきました。つまり、これは常に大規模なモデルのリリースに奉仕してきたものです。このモデルは 4,000 億パラメータ（400B）を有するスパース型混合専門家モデル（MoE）で、アクティブなパラメータ数は 130 億です。ええと、はい、私たちは非常に興奮しています。これは過去 6 ヶ月間、当社が集中して取り組んできたすべてのものであり、あなたが構築している人々がその成果を使い始めることができるようになったことを本当に嬉しく思います。 00:02:16 ネイサン・ランバート：はい、現実的な質問をすれば、「これは過去 6 ヶ月間のモデルの ballpark（概算範囲）に収まっていると思いますか？」となります。実際、あなたが目指すべき基準はそこにあるはずです。オープンモデルには高いハードルがあり、あなたがターゲットとしているものに対してどう評価するかです。これらのモデルがその基準を満たしていると感じますか？あるいは、MiniMax のように全体で 230B（2,300 億パラメータ）程度、それより少ない規模のものとの比較になります。それが何なのかは私にはわかりませんが、アクティブパラメータが 100 億から 200 億程度ではないでしょうか。DeepSeek は 600 の範囲にあり、Kimi は 1 トリリオンの範囲にあります。つまり、これは人々が知る大規模な MoE（Mixture of Experts：専門家混合モデル）の比較的小さな側に位置しています。特にアクティブパラメータが 13B（1,300 億）と言われたときは、非常にスパース性（疎性）が高いと言えます。そのため、これらのモデル間でどう比較すべきかについては、私には確信が持てません。MiniMax はより小さいというデータ分析を行った結果、この比較は少し無理があるのかもしれません。重要なのは、良いものを作り、人々がそれを使うかどうかを確認することです。 00:03:06 ルーカス・アトキンス：はい、つまり、生計算リソースの観点から言えば、サイズとしてはミニマックスと GLM 4.5 の中間あたりですね。GLM は確か 380B で、アクティブパラメータは 34B だったと思います。つまり、総数は少し高めですが、アクティブ部分は半分になっています。この方針を決めたときは確かに難しかったです。7 月に密なモデルをリリースしたときのことですが、すぐに非常に大きなモデルを作る必要があると直感しました。その際の難しい点は、開発に 6 ヶ月かかることを事前に把握しておく必要があります。設計を開始した時点で競合他社に対抗できるモデルを作ろうとしても、この業界では 6 ヶ月の間に多くのことが起こるため、それは現実的ではありません。そこで、事前学習をやり直し、ターゲットは GLM 4.5 ベースモデルに設定しました。4.6 や 4.7 はその上でポストトレーニング（後期微調整）が行われているからです。性能面では、私たちが目指す範囲内に収まっています。技術的には「Trinity Large Preview」と呼んでいますが、これは追加で 1 ヶ月分の RL（強化学習）を実施する必要があるためです。 00:04:29 ネイサン・ランバート：私もそこにいました。 00:04:31 ルーカス・アトキンス：はい、はい。でも、ご存知の通り、私たちが現在取り組んでいるチェックポイントでは、AIME 2025 で少なくとも 85 点台後半、GPQA Diamonds では 75 点、MMLU Pro では 82 点を達成しています。まだ強化学習（RL）による改善を続けていますが、とにかく満足しています。特に、これが私たちの最初の大きなトレーニングランだったことを考えると、単にモデルを訓練し終えたこと自体が極めて大きな成果でしたが、それが実際に本格的に有用なモデルとして機能しているというのは、まさに花の飾りのようなものです。 00:05:03 ネイサン・ランバート：はい、大きな視点からいきましょう。えーと、振り返ってみましょう。私たちはこの完全なトリニティ（三位一体）のモデルを持っています。面白い点がありますね。えーと、そのドキュメントに入れましたか？いいえ、Nano Preview についてです。これは最も小さい...あなたは魅力的で不安定だと言います。モデルカードが本当に面白いです。ChatGPT でこれについて深く調査したところ、ChatGPT Pro が隣に「魅力的で不安定」とタグ付けされていました。そして私は考えました：これはハルシネーション（幻覚）でしょうか？そしてモデルカードには、「これはチャット調整されたモデルで、ユーザーが愛するであろう楽しい性格と魅力を持っています。えーと、私たちは...境界を押し広げています。8 億のアクティブパラメータを持ち、そのため特定のユースケースでは不安定になる可能性があります」とあります。これは最も小さなスケールでのことです...私は正直に言うことを評価しますし、この話は会話の中で何度も出てくるでしょう。そして次に Mini があります。えーと、1B アクティブで 6B トータルといった感じだったと思います。私の手元には正確な数字がありません。どこかにあります。えーと- 00:05:52 ルーカス・アトキンス：はい、Nano は 6B で、アクティブは 1 でした。 00:05:55 ネイサン・ランバート：ああ、そうですか、そうですか。 00:05:55 ルーカス・アトキンス：そして Mini は 26 で、アクティブは 3B です。 00:05:58 ネイサン・ランバート：はい。つまり- 00:06:00 ネイサン・ランバート：これらは、トレーニングのスキルを構築する必要があるという観点に基づいているのでしょうか、それともコミュニティから聞こえてきたニーズを満たそうとしているのでしょうか。文脈として、以前に最初のオープンモデルはベースモデルとポストトレーニング済みモデルである Arcee 4.5B で、これは人気があったデンスモデルでした。その前には、リリースした多くのポストトレーニングファインチューンがありました。つまり、それまではポストトレーニング専門のショップのようなものでしたが、この歴史的背景を埋めることが重要だと考えます。なぜなら、多くの人々が今回初めてこの話を聴くことになるからです。 00:06:34 ルーカス・アトキンス：はい、ええと、私たちがミニとナノのサイズを選んだのは、特にミニの 26B（Active 3B）に焦点を当てたものでした。その理由は、大規模モデルの開発リスクを低減するためです。つまり、これはすべて、400B クラスのモデルを実現するという目標に向けた一連の取り組みの一環なのです。私たちは、元々 4.5B のモデルを開発した経験から、訓練に必要な要素は全て紙面上に揃っていても、実際には予想外の極めて大きな困難が伴うことを学びました。特に MoE（Mixture of Experts）モデルのパフォーマンスを追求する際、効率的で高速な MoE の訓練を実現することについては、私たちが確実に解決すべき課題であると認識していました。そこで、私たちはミニサイズを、過度に高価ではなく、かつ大規模モデル開発に向けた豊富なデータを得られる適切な基盤として位置づけました。一方、ナノサイズの登場は、余剰の計算リソースがあったことと、非常に深い構造を持つ小規模モデルに関する研究をさらに進めたいという強い意欲によるものです。MoE においてこのようなアプローチが試された例はこれまであまり見られなかったため、私たちは訓練を開始し、初期ベンチマークの結果が良好だったことから、「では、全データセットで実施しよう」と判断しました。ただし、これらのリリースに対する最も大きな関心と評価はミニモデルに向けられました。長期的な ROI（投資対効果）の観点から考えれば、小規模モデルこそが私たちの強みとなる領域だと確信しています。なぜなら、小規模モデルを最適化することで企業は莫大なコスト削減を実現できるからです。しかし同時に、私たちは大規模モデルのフロンティアを開拓し続けることも間違いなく目指していきます。 00:08:26 ネイサン・ランバート：はい。えーと、会社にとって有用な小規模モデルの話に戻る前に、トレーニングについてもう一度掘り下げておきたいんです。というのも、オープンエコシステムについては今後 20 分以上話し合うことになるからです。そこで哲学的な観点から、貴社が科学的詳細を共有することに対してどう考えているのか気になります。例えば、モデルの中で技術的に最も興奮する点は何か、あるいは課題は何かといった質問に答えていただけるでしょうか？それらについてお話しされるおつもりですか？それは会社の方針とは無関係（オルソゴナル）な問題だと感じますか？私には、これらはすべて起こりうる出来事のように思えます。貴社のこの取り組みの枠組みは、大規模モデルを軌道に乗せることに奉仕するものだと捉えています。特に、6 ヶ月以内にモデルが実装されることを想定している必要があります。モデルをトレーニングしていない人にとっては、これは考えにくいことかもしれません。私自身も、OLMo 3 のポストトレーニングスタックを更新しようと考えているのですが、現在は思考（thinking）に非常に依存した SFT（Supervised Fine-Tuning：教師あり微調整）を行っており、思考時間の点であまり動的ではありません。しかし、このモデルをデプロイする人々がいるとは考えにくく、おそらくファインチューニングするのも難しいでしょう。6 ヶ月後にツール使用型モデルがどこに向かうかを考えるのは非常に困難です。これは非常に難しいタスクであり、実際に着手するには多大な勇気が必要です。そこで、私が経験したことを自己省察する枠組みについて、お聞かせいただければ幸いです。特に、Muon オプティマイザを使用していることなどにより、6 ヶ月先の展望を現実のものとするのがいかに困難だったかについて、何か共有いただけることがあれば大変助かります。データについては、Datology がその多くを生産していることは周知の事実であり、貴社はおそらくこれらのパートナーと連携して推進されているのでしょう。何が機能し、何が機能しないかについて多くのフィードバックを提供されていることも間違いありません。ですので、共有可能な情報があれば、それは有用だと考えます。 00:10:08 ルーカス・アトキンス：ええと、私は、データ側のことを考えているのですが、例えば Datology については、少なくともこれらのモデルにおいては、そのパートナーシップは私たちの研究チームの延長のようなものだったと思います。私たちは彼らと非常に密接に協力してきましたし、もちろん、私たちのモデルがうまくいっていることは、彼らにとっても良いことですからね。しかし、そこには確かに、ご存知のように、小規模なアブレーション実験（ablation study）を大規模に適用した際に、必ずしも望んだ通りにならないという課題がありました。そのため、Large 版で使用するデータセットを得るまでに、かなりの反復作業が必要でした。6 ヶ月先を見据えて、どのように進めるかを考えるにあたって、もちろん最大の課題は計算資源（compute）です。私たちはファウンデーションモデル企業として資金を調達したことがなく、数千台の GPU を前もって確保するような大規模なコミットメントを行ったこともありません。そのため、ポストトレーニング（post-training）の多くに常時稼働する大規模クラスターを持っていなかったのです。もし以前であれば、64 台の H100 で十分だったかもしれませんが、当然ながら今回はさらに多くの資源が必要となりました。まず最初に取り組んだことは- 00:11:29 ネイサン・ランバート：それはまだ人々が予想するよりも少ないです。つまり、モデルをリリースしていますが...そのモデルは国全体のニュースになるようなものではなくても、コミュニティの人々はそれを知っていました。例えば、Moondream を思い浮かべます。ヴィク（Vik）は...非常に限られた計算リソースしか持っていないのに、それを非常に効果的に活用しています。彼の成功ぶりがよくわかりますよね？彼自身も、30 台...いや、64 台の GPU を持っていると言っています。つまり、限られた計算資源で実際に優れた機械学習（ML）の成果を生み出すことについては、全く別の議論が必要なのです。私はこれについてヴィクと話すべきですが、それ以外の点では 00:12:03 ルーカス・アトキンス：いいえ、それは…そうなんです。多分…はい、事前学習（pre-training）の側面に入る際、非常に大きな贈り物でした。なぜなら、私たちはすでに、「計算資源を最小限に抑えていかに最大限の効果を得るか」ということを考えていたからです。しかし、私たちが大規模モデルのトレーニングに使用している 22,048 台の NVIDIA B300（B300）からなるクラスターを準備するまでには、かなりの時間がかかりました。そのクラスターへのアクセスが可能になる時期がわかった時点で、Mini や Nano のタイムラインなど、他のすべてのことが明確になりました。もちろん、Mini や Nano については 512 台の NVIDIA H100（H100）の方が入手しやすいことは明白でした。この点を整理したことで、本格的に「事前学習というテーマにおいて、どのような研究が最良か」を探るゲームが始まりました。具体的には、十分なポテンシャルと先行事例を持つ論文や出版物は何か、つまり、他の研究室で採用されたものか、信頼できるチームからの成果か、あるいは論文内のアブレーション（ablation）や評価設定が十分であり、私たちに確信を与えられるようなものかを検討しました。そして結局、MoE（Mixture of Experts：専門家の混合モデル）のアーキテクチャをどうするかを決めるのに約 2 か月ほど費やし、その後は「では、これを実際のトレーニングパイプラインにどう実装するか」という段階に移りました。当時、Muon という最適化手法はポストトレーニング（post-training）の分野で多くの人が取り組んでいましたが、

Arcee AI、米国産オープンモデルに全集中

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト