Evaluating the ethics of autonomous systems｜自律システムの倫理評価

人工知能は、リスクの高い状況における意思決定の最適化支援に、ますます活用されています。例えば、自律システムは、電圧を安定させつつコストを最小化する電力配分戦略を特定することができます。 しかし、こうしたAIが導き出す結果は技術的に最適であっても、それは公平と言えるでしょうか？ 低コストの電力配分戦略が、高所得地域よりも恵まれない地域を停電に対してより脆弱にしてしまうとしたらどうでしょうか？ 導入前にステークホルダーが潜在的な倫理的ジレンマを迅速に特定できるよう支援するため、MITの研究者らは、コストや信頼性といった測定可能な成果と、公平性といった定性的・主観的価値観の相互作用のバランスを取る自動評価手法を開発しました。 このシステムは、客観的評価をユーザー定義の人間的価値観から分離し、大規模言語モデル（LLM）を人間の代理として用いて、ステークホルダーの選好を捕捉・組み込みます。 この適応型フレームワークは、さらに評価すべき最適なシナリオを選択し、通常はコストと時間を要する手作業によるプロセスを効率化します。これらのテストケースは、自律システムが人間的価値観とよく一致する状況と、予期せず倫理基準を満たさないシナリオの両方を示すことができます。 「AIシステムには多くのルールやガードレールを組み込むことはできますが、それらの安全策は私たちが想定し得ることしか防げません。『この情報で訓練されているからAIを使おう』と言うだけでは不十分です。私たちは、未知の未知（想定外の事態）を発見し、問題が発生する前に予測する方法を持つ、より体系的な手法を開発したいと考えました」と、MIT航空宇宙工学科（AeroAstro）准教授でMIT情報意思決定システム研究所（LIDS）主任研究員を務める上席著者、Chuchu Fanは述べています。 Fanは、筆頭著者である機械工学大学院生のAnjali Parashar、AeroAstroポスドク研究員のYingke Li、およびMITとSaabの他の研究者らと共に本論文を執筆しました。この研究は、International Conference on Learning Representationsで発表される予定です。 **倫理的評価** 電力網のような大規模システムにおいて、あらゆる目的を考慮しつつAIモデルの推奨事項の倫理的整合性を評価することは、特に困難です。 ほとんどのテストフレームワークは事前収集データに依存していますが、主観的倫理基準に関するラベル付きデータは往々にして入手困難です。さらに、倫理的価値観とAIシステムはともに絶えず進化するため、文書化された規範や規制文書に基づく静的な評価手法は頻繁な更新を必要とします。 Fanと彼女のチームは、この問題に異なる視点から取り組みました。ロボットシステム評価に関する以前の研究を発展させ、最も有益なシナリオを特定する実験計画フレームワークを開発し、人間のステークホルダーがより詳細に評価できるようにしました。 彼らが開発した二部構成のシステム「Scalable Experimental Design for System-level Ethical Testing（SEED-SET）」は、定量的指標と倫理基準を組み込んでいます。これは、測定可能な要件を効果的に満たし人間的価値観とよく一致するシナリオ、およびその逆のシナリオを特定することができます。 「私たちは、無作為な評価に全てのリソースを費やしたくありません。ですから、私たちが最も関心を持つテストケースへとフレームワークを導くことが極めて重要です」とLiは述べています。 重要な点として、SEED-SETは事前の評価データを必要とせず、複数の目的に適応できます。 例えば、電力網には大規模な農村地域コミュニティとデータセンターなど、複数のユーザーグループが存在するかもしれません。両グループとも低コストで信頼性の高い電力を望むでしょうが、倫理的観点からの各グループの優先度は大きく異なる可能性があります。 これらの倫理基準は明確に定義されていない可能性があり、分析的に測定することはできません。 電力網の運用者は、すべてのステークホルダーの主観的倫理的選好を最もよく満たす、費用対効果の最も高い戦略を見つけたいと考えています。 SEED-SETは、階層構造に従って問題を二つに分割することでこの課題に取り組みます。客観的モデルは、コストなどの具体的な指標においてシステムがどのように機能するかを考慮します。その後、認識された公平性などのステークホルダーの判断を考慮する主観的モデルが、客観的評価を基盤として構築されます。 「私たちのアプローチの客観的部分はAIシステムに、主観的部分はそれを評価するユーザーに結びついています。選好を階層的に分解することで、より少ない評価回数で望ましいシナリオを生成できます」とParasharは述べています。 **主観性の符号化** 主観的評価を実行するため、このシステムは人間の評価者の代理としてLLMを使用します。研究者らは各ユーザーグループの選好を、モデルへの自然言語プロンプトとして符号化します。 LLMはこれらの指示を用いて二つのシナリオを比較し、倫理基準に基づいて好ましい設計を選択します。 「何百、何千ものシナリオを見た後では、人間の評価者は疲労し、評価に一貫性がなくなる可能性があります。そのため、代わりにLLMベースの戦略を用いるのです」とParasharは説明します。 SEED-SETは、選択されたシナリオを用いて全体システム（この場合は電力配分戦略）をシミュレートします。これらのシミュレーション結果が、次にテストすべき最適な候補シナリオの探索を導きます。 最終的に、SEED-SETは、客観的指標と倫理基準を満たす、あるいは一致しない、最も代表的なシナリオを知的に選択します。このようにして、ユーザーはAIシステムの性能を分析し、その戦略を調整することができます。 例えば、SEED-SETは、電力需要のピーク時に高所得地域を優先し、恵まれない地域を停電に対してより脆弱にする電力配分のケースを特定できます。 SEED-SETをテストするため、研究者らはAI駆動の電力網や都市交通経路探索システムといった現実的な自律システムを評価しました。彼らは、生成されたシナリオが倫理基準とどの程度一致しているかを測定しました。 このシステムは、同じ時間内でベースライン戦略の2倍以上の最適なテストケースを生成し、他のアプローチでは見落とされていた多くのシナリオを発見しました。 「ユーザーの選好を変えると、SEED-SETが生成するシナリオのセットが劇的に変化しました。これは、評価戦略がユーザーの選好に敏感に反応していることを示しています」とParasharは述べています。 SEED-SETが実際にどれほど有用かを測定するため、研究者らは、その生成するシナリオが実際の意思決定に役立つかどうかを確認するユーザー調査を実施する必要があります。 このような調査を実施することに加え、研究者らは、LLMによる意思決定評価など、より多くの基準を持つ大規模な問題へ拡張可能な、より効率的なモデルの使用を探求する計画です。 この研究は、米国防高等研究計画局（DARPA）による一部の資金提供を受けています。

自律システムの倫理評価

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト