Kimi K3の性能向上、Fable活用ではないと専門家が指摘

ホワイトハウスの科学顧問マイケル・クラティオス氏は、中国の企業ムーンショット（Kimi K3 の開発元）が、輸出規制に抵触するチップを使用しながら、アンソロピック社の Fable LLM を模倣して同モデルを構築したと指摘しました。Kimi K3 は現在、利用可能なオープンウェイト大規模言語モデルの中で最大規模です。

「米国技術の窃取や米国の研究基盤の弱体化を狙った大規模かつ隠蔽された産業的蒸留（ディスティレーション）は許されない」とクラティオス氏は投稿しました。この発言は、AI 業界を揺るがす中国製オープンウェイトモデルの禁止を検討する議論が行われている最中に行われたものです。ムーンショット社はトレーニングプロセスに関する質問に回答しておらず、クラティオス氏も告発の根拠となる詳細な情報については明らかにしていません。

クラティオス氏の発言は、スコット・ベッセント財務長官が「中国製の多くのモデルに、米国の大規模言語モデルの特徴（ウォーターマーク）が見つかっている。これは許されない」と述べた内容と一致するものです。しかし、その特徴とは具体的に何を指すのかは不明であり、財務省も問い合わせに対して回答していません。

しかし専門家たちは、Kimi K3 が示す高度な能力が、LLM の内部構造を解明しその機能を模倣するプロセスである「蒸留」によって生み出されたものだと信じるには懐疑的です。

「Fable が厳密に知識蒸留（ディストillation）を行うだけでは、これほど強力なモデルをこれほど短期間で獲得できるとは思いません」と、Laude Institute の研究者であり Snorkel AI の共同創設者である Braden Hancock は TechCrunch に語りました。「正直に言って、時間がないからです。Fable が一般公開されたのは 7 月 1 日だけです。その程度のデータを蒸留してモデルを訓練し、2 週間でリリースするのは不可能です。」

「中国のモデルが最先端に近づき、トレーニング手法が [強化学習] にシフトするにつれて、知識蒸留の影響は次第に薄れているという見解を持っています」と、AI 研究者の Nathan Lambert は昨日公開された ポッドキャスト で述べました。「もし蒸留データを使って誰でも簡単に GLM や K3 に追いつけるのであれば、私たちはすでにそうなっているはずです。しかし、教師あり微調整（SFT）だけでは、そのような状況にはなっていません。」

知識蒸留を行うには、ラボが対象モデルに対して体系的にクエリを実行し、ポストトレーニングで利用可能なデータを生成する必要があります。場合によっては、モデルが問題をどのように解決しているかを理解するために、その思考プロセスを明確に記述させることが明示的に含まれます。また別のケースでは、あるモデルからのプロンプトと回答を用いて、教師あり微調整（SFT）と呼ばれるプロセスで新しいモデルを訓練します。

この微調整プロセスを経ることで、第三者によって作成されたモデルがあたかも Claude のように主張する事態が生じ得ます。ランバートの見解では、微調整こそが「モデルにマナーを身につけさせる」段階です。

しかし、ランバートは、モデルの複雑さが増すにつれて SFT（教師あり微調整）の恩恵は相対的に小さくなっていると指摘しています。Fable に匹敵する能力を抽出するには、おそらく強化学習の手法が必要となるでしょう。多くの場合、これは大規模なモデルのエージェントが小規模なモデルの回答を評価し、その評価結果に基づいて調整を行うことを意味します。

こうした高度な技術には、より大規模なインフラストラクチャが必要です。大規模な強化学習の実行では、数千万ものエージェントが必要になることもあります。そのような作業に最前線の研究所の API を利用することは「莫大な費用がかかり、さらに時間的なボトルネックにもなりかねません。なぜなら、これらのモデルは非常に遅く、正直に言って性能向上をもたらさない可能性さえあるからです。

Kimi の性能向上に、過去の最先端モデルが寄与した可能性は十分にあります。Anthropic は今年初め、Moonshot、DeepSeek、MiniMax といった中国企業に対し、自社のモデルを体系的に蒸留（ディストillation）したと公的に非難しました。同社は、IP アドレスやその他のメタデータを通じて特定されたこれらの企業との間で、数百万件のやり取りを発見したと発表しています。これらの問い合わせは「通常の使用パターンとは異なり、正当な利用ではなく意図的な能力の抽出を示すものだった」とされています。一方、Anthropic は TechCrunch からの Fable を巡る蒸留に関する質問には回答していません。

しかし、モデルの蒸留は中国に限らず、AI 業界全体で広く行われている慣行と見られています。今年初めにエロン・マスク氏は証言の中で、自社のスペースX AI が OpenAI のモデルを蒸留して Grok を開発したと明かしました。この手法が業界では一般的であるとも述べています。例えば、蒸留と合成データセットの作成との境界線は、必ずしも明確ではありません。

「一般に、アメリカ人は中国チームの技術的専門性を過小評価している」とハンコック氏は指摘します。「Moonshot の創設者の一人はカーネギーメロン大学の博士課程学生でした。彼らは確実な成果を上げる正当な研究者やエンジニアです。……もし米国のモデル開発が停滞した場合、中国の進展も鈍化するでしょうが、完全に止まるわけではありません。彼らは単に他人の足元にしがみついているだけではないのです。」

また、Kratsios の発言のもう一つの側面、つまり Moonshot が最先端の Nvidia チップ「Grace Blackwell 300」を手に入れ、タイに設置された GB300 搭載サーバーにもアクセスしたという点と、知識蒸留（ディストillation）の影響を切り離して考えるのは困難です。これらのチップは中国への輸出が禁止されていますが、ジョージタウン大学のセキュリティ・イマージング・テクノロジーセンターのフェローであるサム・ブレスニック氏によれば、黒市場が存在しているといいます。5 月には、米国のサーバーメーカーであるスーパーマイクロの創業者が、先進的なチップを中国へ密輸した容疑で起訴されました。

「私は世界中のデータセンターに対して『顧客確認（KYC）』法の導入を支持しています」とブレスニック氏は語ります。「最先端のハードウェアを使って大規模な学習トレーニングを行う企業に許可を与えるなら、その企業が誰であり、何をしているのかを報告する仕組みが必要不可欠です」。

ジョー・バイデン米大統領の商務省は 2024 年にデータセンター向けの連邦 KYC ルールを提案しましたが、ドナルド・トランプ政権下ではこれ以上の進展は見られません。一方で、先進的なチップを海外へ輸出する企業には、それらが承認された目的でのみ使用されることを確実にする義務が課されています。

この記事内のリンクを通じて購入が行われた場合、当社は少額のコミッションを受け取る場合があります。これは当社の編集の独立性には影響しません。

ティムへの連絡や取材依頼の確認は、tim.fernholz@techcrunch.com へメールを送るか、Signal で暗号化メッセージを tim_fernholz.21 宛てに送信してください。

プロフィールを見る