AIモデルの予測説明能力の向上

医療診断のような重要な場面では、ユーザーはコンピュータビジョンモデルが特定の予測を行った理由を知りたがることが多く、それによってその出力を信頼するかどうかを判断できる。 コンセプトボトルネックモデリングは、人工知能システムが意思決定プロセスを説明できるようにする手法の一つである。この手法は、深層学習モデルに人間が理解可能な概念のセットを使用して予測を行うことを強制する。新たな研究で、MITのコンピューター科学者たちは、モデルがより高い精度と、より明確で簡潔な説明を達成するよう導く手法を開発した。 モデルが使用する概念は通常、人間の専門家によって事前に定義される。例えば、臨床医は「茶色の点の集まり」や「斑状の色素沈着」といった概念の使用を提案し、医療画像がメラノーマを示していると予測することができる。 しかし、事前に定義された概念は特定のタスクに対して無関係であったり、詳細が不十分だったりする可能性があり、モデルの精度を低下させる。新手法は、モデルがその特定のタスクを実行するために訓練された際に既に学習した概念を抽出し、モデルにそれらを使用することを強制する。これにより、標準的なコンセプトボトルネックモデルよりも優れた説明を生成する。 このアプローチは、ターゲットモデルから知識を自動的に抽出し、それを平易な言語の概念に変換する一対の特殊化された機械学習モデルを活用する。最終的に、彼らの技術は事前訓練済みのあらゆるコンピュータビジョンモデルを、概念を使用してその推論を説明できるモデルに変換することができる。 「ある意味、私たちはこれらのコンピュータビジョンモデルの心を読みたいのです。コンセプトボトルネックモデルは、ユーザーがモデルが何を考えているか、そしてなぜ特定の予測を行ったかを知るための一つの方法です。私たちの手法はより良い概念を使用するため、より高い精度につながり、最終的にはブラックボックスAIモデルの説明責任を向上させることができます」と、筆頭著者でミラノ工科大学の大学院生であり、この研究をMITのコンピュータ科学・人工知能研究所（CSAIL）で客員研究員として行ったアントニオ・デ・サンティスは述べている。 この研究に関する論文の共著者には、Schrasing Tong SM ’20, PhD ’26; ミラノ工科大学のコンピュータ科学・工学教授であるマルコ・ブランビラ; およびCSAILの主任研究員であるシニアオーサーのララナ・カガルが名を連ねている。この研究は、国際学習表現会議で発表される予定である。 **より優れたボトルネックの構築** コンセプトボトルネックモデル（CBM）は、AIの説明可能性を向上させるための一般的なアプローチである。これらの技術は、コンピュータビジョンモデルに画像内に存在する概念を予測させ、その後それらの概念を使用して最終的な予測を行うという中間ステップを追加する。 この中間ステップ、すなわち「ボトルネック」は、ユーザーがモデルの推論を理解するのに役立つ。 例えば、鳥の種を識別するモデルは、ツバメを予測する前に「黄色い脚」や「青い翼」といった概念を選択する可能性がある。 しかし、これらの概念はしばしば人間や大規模言語モデルによって事前に生成されるため、特定のタスクに適合しない可能性がある。さらに、事前定義された概念のセットが与えられたとしても、モデルは時として望ましくない学習情報を利用してしまうことがあり、これは情報漏洩として知られる問題である。 「これらのモデルは性能を最大化するように訓練されているため、モデルは私たちが気づいていない概念を密かに使用している可能性があります」とデ・サンティスは説明する。 MITの研究者たちは別の考えを持っていた。モデルは膨大な量のデータで訓練されているため、手元の特定のタスクに対して正確な予測を生成するために必要な概念を既に学習しているかもしれない。彼らは、この既存の知識を抽出し、人間が理解できるテキストに変換することでCBMを構築しようとした。 彼らの手法の第一段階では、スパースオートエンコーダと呼ばれる特殊な深層学習モデルが、モデルが学習した最も関連性の高い特徴を選択的に取り出し、それを少数の概念に再構築する。次に、マルチモーダルLLMが各概念を平易な言葉で記述する。 このマルチモーダルLLMはまた、データセット内の各画像について、どの概念が存在し、どの概念が存在しないかを識別することで注釈を付ける。研究者たちはこの注釈付きデータセットを使用して、コンセプトボトルネックモジュールを訓練し、概念を認識させる。 彼らはこのモジュールをターゲットモデルに組み込み、研究者たちが抽出した学習済み概念のセットのみを使用して予測を行うことをモデルに強制する。 **概念の制御** 彼らはこの手法を開発する過程で、LLMが概念を正しく注釈付けしていることを確認することから、スパースオートエンコーダが人間が理解可能な概念を識別したかどうかを判断することまで、多くの課題を克服した。 モデルが未知または望ましくない概念を使用するのを防ぐために、彼らは各予測に対して5つの概念のみを使用するように制限する。これにより、モデルが最も関連性の高い概念を選択することを強制し、説明をより理解しやすくする。 彼らが鳥の種の予測や医療画像における皮膚病変の識別などのタスクにおいて、彼らのアプローチを最先端のCBMと比較したとき、彼らの手法はより正確な説明を提供しながら最高の精度を達成した。 彼らのアプローチはまた、データセット内の画像により適用可能な概念を生成した。 「私たちは、元のモデルから概念を抽出することが他のCBMよりも優れた性能を発揮し得ることを示しましたが、説明可能性と精度の間にはまだトレードオフがあり、対処する必要があります。説明可能でないブラックボックスモデルは、依然として私たちのモデルよりも優れた性能を発揮します」とデ・サンティスは述べている。 将来、研究者たちは情報漏洩問題に対する潜在的な解決策を研究したいと考えており、おそらく追加のコンセプトボトルネックモジュールを追加することで、望ましくない概念が漏洩するのを防ぐことができるかもしれない。彼らはまた、より大きなマルチモーダルLLMを使用してより大規模な訓練データセットに注釈を付けることで手法を拡張し、性能を向上させることを計画している。 「この研究は説明可能なAIを非常に有望な方向に押し進め、記号的AIや知識グラフへの自然な架け橋を創り出しているので、私は興奮しています」と、この研究に関与していなかったヴュルツブルク大学のデータサイエンス講座長であるアンドレアス・ホルト教授は述べている。「人間が定義した概念のみからではなく、モデル自身の内部メカニズムから概念ボトルネックを導出することにより、モデルにより忠実な説明への道を提供し、構造化された知識を用いたフォローアップ研究の多くの機会を開きます。」 この研究は、Progetto Rocca Doctoral Fellowship、国家復興・回復計画下のイタリア大学・研究省、タレス・アレーニア・スペース、およびNextGenerationEUプロジェクト下の欧州連合によって支援された。

AIモデルの予測説明能力の向上

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト