言語モデルにおける「J-スペース」がグローバル・ワークスペースを形成する新論文の紹介

記事の3ポイント

1. 1

   J-Space の定義と発見

   新手法「Jacobain Lens」により、モデルが意識的推論を行う領域である J-Space が特定され、ここでは限られたベクトルのみが強く活性化することが確認された。

2. 2

   言語化可能な表現の同定

   J-Space 内の概念は外部から注入しても言語化可能であり、非 J-Space の領域ではそれが困難であることが示され、意識的アクセス領域としての役割が立証された。

3. 3

   推論プロセスへの関与

   蜘蛛→足→8 といった内部的な推論概念や将来の韻律計画などが J-Space に含まれており、ここでの要素の入れ替えは出力結果を直接的に左右することが確認された。