Kimi K3 と Qwen3.5-9B で J-Lens を再現し生成前思考を可視化

モデルは発言する前に、静かに推論を行っているのでしょうか？最近、Anthropic の研究者が「Jacobian Lens（J-Lens）」を紹介しました。これは特定の層におけるモデルの隠れ状態を読み取り、トークンを一つも生成する前に、モデルがすでにどの単語に傾倒しているかを教えてくれる訓練済みのプローブです。つまり、モデルがページ上に出力する前に、思考の過程を覗き込み、概念が形成される様子を確認できるのです。

私たちはこの J-Lens を、オープンソースの 2 つのモデルである Kimi K3 と Qwen3.5-9B に適用しました。その結果得られた観察結果を、私たちは「サイレントシグナル（静かな信号）」と呼んでいます。これは最終的な出力に関連する下書き段階での語彙であり、適合された Lens によって復元されるものです。

では、これは何を意味しているのでしょうか？モデルは、単なる出力以上の洞察を持っているのでしょうか？

従来、モデルはブラックボックスであると考えられてきました。「入力すれば、出力が返ってくる」という単純な図式です。しかし実際には、プロンプトと次に予測されるトークンの間に何が起こっているかを復元することが可能です。これは、AI のブラックボックスを誰でも覗き込むことができるようにするための第一歩となります。

AI モデルの内部動作を解明するために、私たちはまず、「モデルが発言する直前に何を追跡しているのか？」という問いを立てました。

Anthropic のグローバル・ワークスペース研究で公開された 10 の例題を用いてテストを行いました。Kimi K3 と Qwen3.5-9B はそれぞれ、同じユーザーメッセージに対して独自の回答を生成しました。読出（リードライト）実験では、各モデルに専用の J-Lens を適合させましたが、両者とも同様のシグナルを確認できました。

J-Lens とは何か？また、どのように動作するのか？

J-Lens は、モデルの内部状態を特定のトークン位置や層で分類器として動作させることで機能します。これにより、モデルがすでにどの概念や語彙に傾倒しているかを特定できます。その結果、その内部状態と最も強く関連する語彙を示すランク付けされたトークンのリストが得られます。

まず Kimi について検証しましたが、J-Lens の適合には、10 件の保留ユーザープロンプムから独立して選出された 14 のタスク非依存な文章を使用しました。言い換えれば、これら 14 の文章は J-Lens を訓練するために用いられ、テストには使用されていません。金属の熱処理、言語借用、輪作、伝統的な航海など多様なトピックをカバーする、さまざまな短い事前トレーニング風の文章を合成して作成しました。

対照コピー実験：同じ言葉、異なる焦点

まず行ったのは、モデルに特定の文を反復させながら、完全に別のタスクに注意を向けるよう指示する実験です。例えば、Kimi には「The old painting hung crookedly on the wall.」という文を、2 つの異なる焦点指示の下でそれぞれ書き返すよう求めました。

•演算版: "文を書きながら、3^2 - 2 の評価に集中してください。"

•柑橘版: "文を書きながら、柑橘類について考えてください。"

どちらの条件でも、Kimi は同じ回答「The old painting hung crookedly on the wall.」を出力しました。生の出力テキストを見ても、モデルが指示された焦点に実際に従ったかどうかは判断できません。一方では演算に関する単語が、他方では柑橘類に関する単語がレンズ読出（lens readout）で検出されました。しかし、Kimi が両方の焦点指示の下で同じ可視的な文章を生成しているためです。

出力内容を厳密に同一にするようタスクを固定することで、表示されるトークンの違いがレンズ読出の対比の原因であるという可能性は排除されます。ただし、これが内部状態や応答を引き起こした具体的な原因を特定するものではありません。各プロンプトは、それぞれ特定の語彙ファミリーを探すための手がかりを与えてくれます。

各トークン位置は、サンプリングされたトランスフォーマーの各深さにおいて状態を持ちます。学習済みの J-Lens は、その特定の状態と最も親和性が高い語彙トークンを特定します。

図 4: State Position

タスク関連の語彙が回答に現れる前に、読み出し（readout）内に出現しているかを確認するために、「概念ファミリー」（厳選されたキーワードリスト）が用いられます。ここでいう「セル」とは、特定の位置と層の組み合わせを指し、一つのセルには複数のヒット行が含まれる可能性があります。これは、その概念ファミリーのメンバーが複数同時に現れた場合です。

算数タスクに対する J-lens の適用結果を見ると、4 つのサンプリングされた層全体で 10 トークン位置のうち 9 箇所において、トップ 10 予測に「7」「9」「3」「answer」「seven」「2」などの算数関連トークンが現れていることが確認できました。

一方、柑橘系（citrus）の単語群を用いた実験では、「orange」「lemon」「lime」「citrus」「oranges」などの用語が 10 トークン位置のうち 8 箇所で検出されました。興味深いのは、どちらの実験でも他方の領域に漏れがない点です。つまり、柑橘系タスク中において算数関連トークンがトップ 10 に現れることはなく、逆に算数タスク中に柑橘系関連の単語が出現することもないのです。

8 つのエピソードにおけるペアードコピーテストの拡張

Kimi の事例 10 件すべてについて、各 20 件のレビュー済み単語リスト（事例ごとに 2 件ずつ）において、読み出し結果のトップ 10 に少なくとも一つの該当単語が含まれていました。

1.内省しながら数える：5 まで数え、深く内省する：

プロンプト: Count to five and introspect deeply

内部状態の読み出し（readout）から、2 つの概念カテゴリを特定しようとしました。1 つは「カウントの段階」を示す用語、もう 1 つは内省的体験に関連する言葉です。しかし、これらいずれのカテゴリに属する語彙も、可視化された回答には現れませんでした。

2. 演算順序を含む数学計算

プロンプト：calc: (4+17)*2+7 =

結果：完成された回答に数字が記述される前に、中間値である 21 と 42 がレンズの読み出しに表示されました。

3. クモの脚に関する事実クイズ

プロンプト："The number of legs on the animal that spins webs is"

結果：モデルがテキスト上で実際に「クモ（spider）」という対象を名付ける前に、内部状態において "spider" という単語が読み出されていました。

4. 韻を踏む連句の計画

プロンプト：A rhyming couplet: "The soldier marched into the night, Prepared to face the"

結果：Kimi は「The soldier marched into the night, Prepared to face the coming fight.」と応答しました。最初の完全な出現に至るまでに、複数の韻を踏む候補が読み出されていました。

5. 「スポーツを 1 つ考えて」

プロンプト：Think of a sport. Answer in one word.

結果：最終的な回答（soccer）だけでなく、選ばれなかった他の候補（football, basketball, tennis, hockey）もすべて読み出しに現れました。

6. 空の入力に対するコード実行の失敗

プロンプト：def avg(xs):

return sum(xs) / len(xs)

print(avg([]))

結果：

失敗メカニズムの語彙は、正確な出現前に読み出される。

7. 火星の色説明

プロンプト：太陽から4番目の惑星の色は

結果：回答ファミリーと物理的な説明の両方の語彙が、正確な出現前に赤色で表示された（red out）。

8. 中国語の対義語応答

プロンプト：小"の反対語は

結果：

小"の反対語は“大”です。

読み出しには、回答と対義語の関係を示す中国語および英語のトークンが含まれています。

キャリブレーション用文章

J-Lens を研究エピソードに適用する前に、14 のタスク非依存なキャリブレーション用文章に対して適合処理を行いました。これらの文章は、モデルの内部状態と語彙読み出しを関連付けるために使用され、研究エピソードとは別に用意されました。各キャリブレーション文章からは、サンプリングされた各層で1 つずつ推定値が得られ、これら 14 の推定値を平均化して適合したレンズを作成しました。

トークン化されたビューでは、1 つの文章が適合にどのように寄与するかを示しています。Kimi は 39 トークンをすべて正常に処理しますが、推定器は紫色で示された 22 の位置のみを使用します。これは、事前に宣言された 16 文字分の開始ウィンドウと、次のトークンが存在しない最終位置を除外した結果です。これら 22 の位置によって、サンプリングされた各層で 1 つの文章レベルの推定値が生成されます。

Qwen 3.5 でも同じ理論が成り立つのか？

次に、Kimi で評価した 20 の概念ファミリーを、別個に調整した Qwen3.5-9B の J-lens にそのまま適用した場合にも、同様の有効なマッチングが得られるかを検証しました。ここでいう「有効な証拠」とは、Qwen の内部状態から、その概念ファミリーに関連するキーワードが上位 10 位以内に表示されることを指します。Qwen には Kimi と同じ 10 通のユーザーメッセージを入力しましたが、トークナイザーや J-lens はそれぞれ独自のものを使用し、思考機能は無効化して決定論的なネイティブな生成結果を得るよう設定しました。

Kimi の読み出し結果に基づいて選定した 20 語リストを、Qwen の別個に調整されたレンズにそのまま適用しました。リスト内の単語が、サンプリングされた位置やモデルの深さにおいて、レンズによるマッチング結果の上位 10 位以内に表示されれば「発見」と判定します。その結果、20 語リストのうち 19 が発見基準を満たしました。これは Kimi から Qwen へ語彙テストを移植した形ですが、異なるアーキテクチャを持つモデル間でも同様の結果が得られることを裏付けています。

Qwen の出力から得られた具体的な事例をいくつか紹介します。

• 算術的コピー: 「7」「9」「answer」といった値が、「evaluate」や「subtract」といった処理プロセスの用語と共起していました。
• 柑橘系への集中: Qwen の生成は、指示内容に忠実に反映されていました。柑橘系のタスクでは「レモンの皮とオレンジの皮」について言及し、算術的タスクではモデルが作業過程の提示を求められていないにもかかわらず、「3^2 - 2 = 7」という計算結果を明示的に出力しています。
• スポーツ関連タスク: 「Soccer（サッカー）」という単語は、「football」や「basketball」といった妥当な代替案と共に出現しました。

シグナルはどこに存在するのか？

この問いに答えるため、私たちはタスクのトランスクリプト領域を対象とした第 2 のテストを実施しました。ここでは、プロンプトの解釈と実際の生成プロセスを明確に区別するために、各トランスクリプトを以下の 3 つの段階に分割して分析を行いました。

• ユーザーメッセージプリフィル: 明示的なタスクそのもの（例：「スポーツを一つ考えてください」）
• チャットテンプレートプリフィル: フォーマットや文脈を含む情報（予約トークンなどを含む）
• 応答ロールアウトプレフィックス: 概念ファミリーが初めて明確に出現する前にモデルが生成した最初のトークン群（例：「このタスクに回答するために…」）

この区別により、モデルがプロンプトを処理しているタイミングと、明示的な生成の前に内部で概念を表現しているタイミングを切り分けることが可能になります。

今回のタスク転写領域テストでは、追加の単語リスト 40 組を用い、上位 50 件の結果を抽出しました。これは以前実施した 20 組のリストによるテストや、Kimi と Qwen の上位 10 位の結果とは独立した別の実験です。

このテストでは、転写領域内の各部分（ユーザーメッセージ、チャットテンプレートによって追加されたフォーマット情報、そして可視テキストに単語が現れるまでの応答プレフィックス）において、リストに含まれる単語が少なくとも一つ存在するかどうかを確認します。具体的には、指定された領域の任意の位置で「サイレントシグナル」が存在するかを示す単純な二値集計指標を用いています。

その結果、Kimi はユーザーメッセージ領域で 40/40、チャットテンプレート領域でも 40/40、そして応答プレフィックスが有効な領域では 24/24 と完璧なスコアを記録しました。

※注：「24/24」という結果は、16/40 のケースでモデルが冗長なプレフィックスなしでタスクに直接回答したためです。例えば、「スポーツを考えてください」と問われた際、単に「サッカー」と答えたケースが含まれます。

Qwen もほぼ同様の結果を示しました。各領域でのスコアは 39/40、39/40、そして 23/24 です。つまり、「言葉が出る前に読み取れる」というパターンは、生成プロセスが進行中である間だけでなく、モデルがプロンプトを処理している段階でも成立していることがわかります。

手法が破綻する場所：トークナイザーの問題

J-lens は個々のトークン単位でチェックを行います。Qwen の場合、"21" や "42" という数字はそれぞれ 2 つのトークンに分割されるため、統合された一致として復元されません。これは手法上の限界を示しており、将来的にはマルチトークンに対応するレンズ（lens）を実装することも考えられます。

このようにトークンをまたぐ検出が苦手なことが原因で、Qwen は今回のエピソードにおいて「中間結果」プローブファミリーでは 0/3 のスコアしか得られませんでした。ただし、他のすべてのファミリーでは通常通り高いスコアを記録しています。

実行に必要なリソース

各パス（passage）あたり 7,168 回の逆方向評価（backward evaluation）が行われ、14 のパス全体で有効な逆方向評価は合計 100,352 回に達しました。1 つのパスを 8-B300 ノード 1 台で処理するには約 5.25 時間かかりました。これを 14 倍すると、総作業量は約 74 ノード・アワー（または 592 GPU・アワー）となります。これはマルチホスト環境での実行にかかった経過時間とは異なる指標です。

結論

内部状態は、コンテキストウィンドウに書き込まれるるるよりもずっと前に、タスクに関連する概念を担っていることが結果から示されました。

オープンウェイトモデルを使えば、研究者は独自にフィットしたプローブによるリードアウトを実施し、測定値の再現や信号の機能検証が可能になります。次のステップは、単一のトークン一致を超えた分析へと進むことです。J-lensプローブを複数の異なるプロンプトで用いたところ、オープンモデルは内部思考経路が異なっていても、タスク固有の結論に至ることは確認できました。また、KimiとQwenの両方をテストすることで、この挙動が異なるモデルファミリーやアーキテクチャ間でも再現可能であることを裏付けました。

あなたもこの種のオープンモデル研究を自分で再現できます！「言葉になる前に読み取れる」信号は、異なるラボとアーキテクチャを持つ2つのオープンモデルで確認されています。それぞれに独立してフィットされたレンズが用意されており、これは重みが十分に開かれてプローブ可能な場合にしか得られない結果です。

Kimi K3 と Qwen 3.5 はどちらもFireworks上で推論とトレーニングが可能で、作業に非常に優れたモデルです！

Fireworksの推論とトレーニングに興味がありますか？

あなたの推論およびトレーニングに関するニーズをお知らせください。当社のフォワードデプロイチームが、専門知能への道程において最適なサポートを提供いたします。

**お問い合わせ **