建設的回路増幅：標的サブネットワーク更新によるLLMの数学推論能力向上

**タイトル: 構成的回路増幅：ターゲットを絞ったサブネットワーク更新による大規模言語モデルの数学的推論能力の改善** 構成的回路増幅：ターゲットを絞ったサブネットワーク更新による大規模言語モデルの数学的推論能力の改善 著者 Nikhil Prakash†, Donghao Ren, Dominik Moritz, Yannick Assogba 論文を見る 大規模言語モデル（LLM）の内部動作を調査したこれまでの研究では、特定のタスクを実行する責任を持つ、しばしば「回路」と呼ばれるスパースなサブネットワークが明らかにされてきた。さらに、ファインチューニングによるモデル性能の向上は、多くの場合、モデル内の既存の回路の強化から生じることが示されている。これらの知見を総合すると、このような回路に直接介入して、精密でタスクに特化した更新を行う可能性が示唆される。これらの発見に動機付けられ、我々は「構成的回路増幅」という新しい手法を提案する。この手法は、モデルの推論トレースから重要なトークンと、目的のタスクに関与するモデルコンポーネントを特定し、それらのコンポーネントのみを更新する。数学的推論に適用した結果、モデルコンポーネントのわずか1.59%を変更するだけで、複数のモデルにおいて精度を最大+11.4%向上させ、MMLU、TriviaQA、TruthfulQAで測定した他の能力への影響は最小限に抑えられた。これらの結果は、モデルコンポーネントのスパースなセットを選択的に更新することで、ターゲットを絞った能力を確実に強化できることを実証している。 † ノースイースタン大学 関連する文献と最新情報。 思考の幻想：問題の複雑性のレンズを通して推論モデルの強みと限界を理解する 2025年6月11日研究分野 音声・自然言語処理学会 NeurIPS 最近の最先端言語モデルの世代は、回答を提供する前に詳細な思考プロセスを生成する大規模推論モデル（LRM）を導入している。これらのモデルは推論ベンチマークで性能の向上を示すが、その基本的な能力、スケーリング特性、および限界については未だ十分に理解されていない。現在の評価は主に確立された数学およびコーディングのベンチマークに焦点を当てており、最終的な… MUSCLE：互換性のあるLLM進化のためのモデル更新戦略 2024年10月23日研究分野 手法・アルゴリズム、研究分野 音声・自然言語処理学会 EMNLP 大規模言語モデル（LLM）は、通常、データやアーキテクチャの変更を通じて性能を向上させるために定期的に更新される。更新プロセスにおいて、開発者は多くの場合、全体的な性能指標の改善を優先し、以前のモデルバージョンとの互換性の維持にはあまり注意を払わない。あるモデルバージョンから次のバージョンへのインスタンスレベルの性能低下（インスタンス回帰）は、ユーザーのモデルに対するメンタルモデルを妨げる可能性がある… 機械学習における機会を発見する。 私たちの機械学習研究は、日々新たな領域を切り開いています。 ![](https://mlr.cdn-apple.com/media/Discover_1440x420_2x_9c465d585e.jpg)

建設的回路増幅：標的サブネットワーク更新によるLLMの数学推論能力向上

背景や根拠まで確認しますか？

調べる

選ぶ

サイト