Cognition、オープンソース由来モデルの信頼性評価手法を公開

記事の3ポイント

1. 1

   中国発モデルのリスク指摘

   記事は、中国の AI ラボから提供される強力なオープンソースモデル（Kimi K2.7 Code など）が、政治的ナラティブの繰り返しや文脈依存のセキュリティ脆弱性という二つの懸念を抱えていると指摘する。

2. 2

   独自評価スイートの構築

   Cognition は、プロパガンダ出力のチェックを行う直接質問と、ユーザーや文脈による挙動の安定性を確認する現実的なコーディングシナリオを組み合わせた信頼性評価スイートを開発した。

3. 3

   SWE-1.7 の評価結果

   中国発モデルをベースに大規模強化学習を適用して作成された SWE-1.7 は、同社の評価スイートにおいて主要な米国企業製フロンティアモデルと同等かそれ以上の信頼性を示した。