Together AI、Kimi K3とClaude Fable 5を比較

主要ポイント

Kimi K3 は Claude Fable 5 と同等の品質を維持しながら、1 つのタスクを解決するあたりのコストは約 3 分の 1。さらにオープンモデルであるため、チームがデプロイを完全にコントロールできます。

• DeepSWE における Kimi K3 と Claude Fable 5 の比較では、pass@1（1 回の試行での成功率）は僅差です。Fable が 69.9% で K3 が 68.5% と、1.4 ポイントの差があります。
• しかし、試行回数を増やせば K3 が逆転します。pass@2（最大 2 回の試行）では 82.0% vs 80.2%、pass@4（最大 4 回の試行）では 89.4% vs 88.5% と、K3 が上回っています。
• コスト面でも K3 は圧倒的です。1 ロールアウトあたりの費用は K3 が 4.65 ドルに対し、Fable は 13.41 ドル。同じ予算で解決できるタスク数は K3 の方が約 2.8 倍です。
• ただし、Claude Fable 5 のほうが安定性は高いと言えます。4 回連続で成功するケース（4-for-4）では、Fable が 58 件に対し K3 は 45 件にとどまっています。

DeepSWE は多様なタスク種別やプログラミング言語にわたってモデルのソフトウェアエンジニアリング能力を評価するベンチマークです。今月の Kimi K3 と Claude Fable 5 の比較において、最も注目すべきはリーダーボードの首位ではなく、Fable にわずか 1.4 ポイント差で迫りながら、価格は約 3 分の 1 という新登場のオープンウェイトモデル「Kimi K3」です。

Kimi K3 は 2026 年 7 月 16 日に DeepSWE に参入しました。最大限の努力を払った 452 件の評価済みロールアウト（内訳：実稼働中のオープンソースリポジトリから抽出された 113 のリアルで長期にわたる機能リクエスト、各 4 回の試行）がテストされました。これらの結果は、非公開のテストスイートによって合格・不合格が判定されています。分析では、Anthropic が最も強力な設定（xhigh）としていた Claude Fable 5 と比較しました。これは当時のベンチマークリーダーでした。

以下の数値はいずれもこの一連の実行に基づいています。そのため、他の公開されている Kimi K3 と Claude Fable 5 のスコアカードとは異なる場合があります。

DeepSWE スコアボード：pass@1 と pass@k

DeepSWE の公式スコアリング基準では、Fable xhigh は 69.9% のタスクを初回で解決しています。一方、Kimi K3 は最大 68.5% です。オープンウェイトモデルと Anthropic のフラッグシップモデルの間にはわずか 1.4 ポイントの差しかありませんが、このデータセット全体におけるモデルリリース間での最大の飛躍は、K3 が 38 ポイントも向上した点にあります。

また、pass@k を大きく設定するとランキングは逆転します。pass@2 では Kimi が 82.0% で Fable の 80.2% を上回り、pass@4 では Kimi が 89.4% と Fable の 88.5% や Sol の 85.8% を大きく引き離しています。44 通りの設定構成全体を通じて、90.3% に達したのは、Luna max と GPT-5.5 high という 2 つの低コストな GPT 設定のみです。

カバレッジと信頼性：Kimi K3 と Fable 5 の違い

pass@1 を「カバレッジ（少なくとも一度は解決したタスクの割合）」と「信頼性（そのタスクでの達成率）」に分解すると、2 つのモデルは異なる特性を示します。Kimi はベンチマークの 89.4% に到達しており、これは過去最高値を上回る水準です。決して解けないタスクはわずか 12 件だけで、Fable の 13 件とほぼ同等です。しかし、4 回連続で成功させる信頼性では Kimi は 76.6% で、4 回とも成功したタスク数は 45 件に留まります。一方、Fable は信頼性が 79.0% と高く、4 回連続成功のタスク数も 58 件です。

Fable はより安定しており確定的な挙動を示しますが、Kimi はより広い網を張るタイプで、これが pass@2 や @4 での成績向上につながっています。

コスト比較：Kimi K3 と Claude Fable 5 の価格

• Kimi K3 はロールアウトあたり 4.65 ドル、Fable xhigh は 13.41 ドル。合計 452 ロールアウトのスイープでは、Kimi が 2,103 ドルに対し Fable は 6,010 ドルとなりました。
• 解決したタスクあたりのコスト効率を比較すると、Kimi は 100 ドルあたり 14.7 件の解決を実現するのに対し、Fable は 5.3 件。つまり Kimi の方が 2.8 倍の成果を出しています。
• Kimi K3 は処理に時間がかかりますが、モデルがオープンソース化され推論が最適化されれば、この点は確実に改善されるでしょう。

Kimi K3 と Claude Fable 5 の類似性はどれほどか？

• タスクごとの相関関係は 0.72 で、ベンチマーク全体で最も高いクロスベンダー間の類似性を示しています。実際、上位 4 つのクロスベンダー間での類似性すべてが、Kimi K3 と Anthropic（Fable）の組み合わせです。
• どちらかのモデルが 4 タスク中 4 件を解決し、もう一方が 0 件というケースは、どの方向でも存在しません。これはこれまで分析したすべてのペアで初めての現象です。
• 両モデルとも 96 タスクを解決しますが、Kimi だけが追加で 5 件、Fable だけが追加で 4 件のタスクを解決し、8 つのタスクは両方のモデルが失敗しています。

• 失敗のパターンも似ています。失敗の 65% が「あと一歩」の状態であり、リポジトリ内の既存テストスイートへの影響（ベースライン回帰）も、Kimi は 11%、Fable は 10% とほぼ同等です。

• 実務上、Kimi K3 と Claude Fable 5 はほぼ同じタスクで成功し、同じタスクで失敗します。つまり、両者を組み合わせても多様性はほとんど得られません。両者の併用でカバーできるのは 113 タスク中 105 件に過ぎず、Kimi 単独の 101 件と比べてもわずかな差です。

プログラミング言語別：Kimi K3 と Fable 5 の比較

Go 言語では Kimi が明確に勝利（スコアは 79 vs 71）しました。一方、Fable は残る 4 つの言語で優位に立ちました。Python では 74-68、JavaScript で 70-65、TypeScript で 64-60、そして Rust では 75-65 です。

特筆すべきは、Rust のタスクにおいて K3 が Fable に大きく肉薄している点です。他のどのモデルも、GPT-5.6 Sol でさえも、K3 ほど Rust に強みを持っていません。

この結果が示す意味

Kimi K3 は、今や「合理的なデフォルト」と言える存在になりました。フラッグシップクラスに匹敵する性能を持ちながら、Fable の 4 回試行時の成功率（pass@4）を凌駕し、コストは Fable の 1 ドルに対してわずか 35 セントです。

Together AI で Kimi K3 を実行する

Kimi K3 はオープンウェイトモデルとして公開されています。これにより、前述の pass@4 の性能やコスト構造を、自社の環境で自由に活用できます。重み（weights）が入手可能になった今、Together AI の推論スタックは Kimi K3 といったオープンモデルを生産規模で提供するために設計されています。これを使えば、最先端モデルの高額なトークン料金に頼らず、より広い試行回数（pass@k）の網羅性を追求できます。Together AI の推論価格ページ を確認し、自社のワークロードに見合ったコスト感を把握してください。

よくある質問 (FAQs)

Kimi K3 は Claude Fable 5 より優れていますか？

評価指標によります。Claude Fable 5 は、DeepSWE ベンチマークにおける単一試行の信頼性（pass@1：69.9% vs 68.5%）で勝利し、4 回連続でのタスク解決数も上回っています。

一方、Kimi K3 は pass@2 と pass@4 で勝っており、コストは圧倒的に低いです。そのため、大量処理や再試行を許容するエージェントワークにおいては、Kimi K3 の方が高い価値を持つ選択肢と言えます。

Kimi K3 は Claude Fable 5 よりどれくらい安いか？

今回の検証では、Kimi K3 のロールアウトあたりのコストは 4.65 ドルでした。一方、Claude Fable 5 を xhigh セットで実行した場合の費用は 13.41 ドルとなり、Kimi K3 はおおよそ 3 分の 1 の価格です。

解決したタスク数で換算すると、Kimi K3 は 100 ドルあたり 14.7 件の解決を達成しました。これに対し Fable 5 は 5.3 件でした。つまり、ドルあたりの生産性は約 2.8 倍、Kimi K3 の方が上回っています。

Kimi K3 はオープンウェイトモデルですか？

はい、Kimi K3 は Moonshot AI が提供するオープンウェイトモデルです。重み（weights）が公開されれば、自社でホストしたり、推論プロバイダーを通じて提供したりすることが可能です。一方、Claude Fable 5 はクローズドなモデルであり、Anthropic およびそのパートナー経由での利用のみが認められています。

コーディングにおいてどちらが優れているか？

コーディング能力は両者とも互角です。言語別の内訳を見ると、Kimi K3 は Go で明確にリードしています。一方、Claude Fable 5 は Python、JavaScript、TypeScript、Rust の各言語で先行しています。

Fable 5 は単一の試行において安定した結果を出しますが、Kimi K3 は複数回の試行を通じてより広い範囲をカバーする傾向があります。

DeepSWE における pass@k とは？

pass@k は、タスクに対して k 回行った試行のうち、少なくとも 1 回が非公開のテストスイートをパスしたかどうかを測定する指標です。pass@1 は「最初の試行で正解すること」を評価しますが、k の値が大きくなるほど、「複数回の試行を経て最終的に解決に到達できるか」という能力が重視されます。

Kimi K3 の優位性は、この k の値が大きくなるにつれて顕著になります。