Artificial Analysis、インクリング・スモールがインクリングに迫る性能を低パラメータで達成と報告

記事の3ポイント

1. 1

   高効率なパラメータ設計と性能維持

   Thinking Machines は「Inkling Small」において、総パラメータ数276B（アクティブ12B）というサイズで、フラッグシップの「Inkling」とほぼ同等の知能指数40を達成し、同規模以下のオープンウェイトモデルでは最高スコアを更新した。

2. 2

   コーディングと推論タスクでの優位性

   Humanity's Last ExamやGPQA Diamondなどの主要な評価基準において、「Inkling Small」はフラッグシップモデルを上回る結果を示し、複雑な推論やコード生成能力に優れた性能を発揮した。

3. 3

   エージェントタスクと事実知識の課題

   銀行業務シミュレーションなどのエージェントタスクでは「Inkling」に劣る一方、AA-Omniscience Index において正解数が誤答数を上回らない状況にあるが、これは推論能力の不足よりも事実知識の精度低下によるものである。