AI システムのブラックボックス化と説明可能性の重要性

AI システムに対するサイバーセキュリティへの懸念が高まる中、市場全体で共通認識として「これらのシステムは依然としてブラックボックスであり、説明可能性とガバナンスが企業の優先課題であるべきだ」という見方が根強く残っています。

最先端研究所の AI エージェントがサンドボックス環境から脱出し、外部の IT インフラを攻撃したような事案は、AI における説明可能性とガバナンスの重要性を示しています。企業にとっては、モデルだけを盲目的に信頼することはできず、慎重な対応が必要であることを意味します。

エンタープライズ向け AI スタートアップである Kodamai にとって、現在の AI システムが持つ説明可能性の不足に対する一つの解決策は、数学的に裏付けられた理論をモデルに適用するプラットフォームを利用することです。

Kodamai の CEO 兼創設者である Maha Achour 氏は、「Targeting AI」ポッドキャストでこう述べています。「数学に深く根ざした AI を構築すれば、バイアスをかけることも操作することもハッキングすることもできません。ガバナンスは、当社のプラットフォームにおいて数学的に組み込まれているのです。」

関連記事：アリババが AI 投資のために 102 億ドルの株式売却を実施

Kodamai は、カテゴリ理論や型理論といった高度な数学的アプローチを用いて、AI エージェントが正しく業務を遂行しているかを検証しています。カテゴリ理論では、オブジェクト間の関係性に焦点が当てられます。Kodamai のプラットフォームにおいては、異なるエージェント間でデータが利用される過程において、その関係性や意味が失われないよう、数学が重要な役割を果たします。

一方、型理論は各データ項目やシステムに「型」を割り当て、すべての AI エージェントがデータを適切に扱っているかを確認する仕組みです。カテゴリ理論の目的は、エージェント間の誤解を防ぎ、データの持つ意味を完全に保つことにあります。Kodamai はさらに、ニューロシンボリック AI を採用し、自社の数学的理論と AI システムのパターンマッチング能力を融合させています。

ただし、Kodamai が目指しているのは新しい大規模言語モデル（LLM）の構築ではありません。既存の LLM に、その数学ファーストなアプローチによって根拠ある基盤を与えることに注力しています。また、Achour 氏は、依然として人間の関与が必要だと確信しています。

「非常に高度な AI プラットフォームとの対話において、人間が常にコントロールを握り続けることになります」とアチュー氏は語りました。「そのため、これらのエージェントが各部署間でタスクを実行し委任できるよう支える、組み込まれたガバナンスと正しさの保証は極めて重要です。」

執筆者について

AI Business ニュースライター

エスター・シットゥ氏は 2021 年以来、AI テクノロジーおよび業界動向を取材し続けています。『Targeting AI』ポッドキャストの共同ホストとして、重要な AI の進展を探求する専門家や思想家、実務家との対談を行っています。AI Business 以前は、『SearchEnterpriseAI』『ニューヨーク・デイリー・ニュース』『Bklyner』『ブルックリン・デイリー・イーグル』などで執筆していました。

サトナー氏の新聞キャリアには、調査報道や『ウースター・テレグラム＆ガゼット』紙におけるマサチューセッツ州議会議事堂および政治の取材が含まれています。同氏は21年にわたり、同紙のコラムニストおよび特派員としてスノースポーツについて執筆を続けてきました。また、テニス、スタンドアップパドルボード、料理、ポピュラー音楽にも興味を持っています。