Thinking Machines Lab が超大規模マルチモーダルモデル「Inkling」公開

記事の3ポイント

1. 1

   大規模パラメータとオープンウェイトの公開

   同社は総パラメータ数9750億、アクティブパラメータ410億のMixture-of-Experts (MoE) モデル「Inkling」をリリースし、その重みは Tinker 上で微調整可能として公開した。

2. 2

   制御可能な思考努力機能の実装

   強化学習（RL）を通じてモデルが異なるトークン予算を学習する仕組みを導入し、ユーザーが reasoning_effort 引数で思考の深さやコストを0.2から0.99まで直接制御可能とした。

3. 3

   独自のアーキテクチャとトレーニング手法

   Sliding-window とグローバル層を5:1で交互に配置し、RoPE ではなく相対位置埋め込みを採用するほか、Muon および Adam オプティマイザを用いて NVIDIA GB300 NVL72 システム上で45兆トークンのデータで事前学習を行った。