QCon London 2026：倫理的AIはエンジニアリングの問題である
本文の状態
日本語全文を表示中
詳細モードで約8分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
InfoQ
BBVAの責任あるAIプログラムリードであるクララ・イゲラが、AIシステムに関連する多くのリスクは、純粋なガバナンスや政策問題ではなく、根本的にエンジニアリングの課題であると発表した。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
QCon London 2026において、BBVAの責任あるAIリーダーであるクララ・ヒゲラは、AIシステムに関連する多くのリスクが、純粋なガバナンスや政策の問題ではなく、本質的にエンジニアリング上の課題であることを示しました。このセッションでは、AIシステムが重要な製品や意思決定プロセスにますます組み込まれている状況 examined されました。採用が進むにつれ、これらのシステムにおける失敗は重大な現実世界の結果をもたらす可能性があります。この変化は、エンジニアがAIシステムの倫理的性質を、信頼性、パフォーマンス、またはセキュリティに対して適用されるのと同じ厳格さで扱うことを要求します。
この講演は、米国で広く報道された事例から始まりました。ロバート・ウィリアムズという人物が、顔認識システムによる誤認により不当に逮捕されました。このような出来事は、アルゴリズムのエラーが個人やコミュニティに直接影響を与える可能性を浮き彫りにしています。
こうした失敗は、しばしば倫理的な問いを生み出します。場合によっては、開発中に下された技術的および設計的選択に起因します。他のトレーニングデータセットは、システムの影響を受ける人口層を代表していない可能性があります。モデルアーキテクチャが説明可能性を欠いていることもあり、評価パイプラインがデプロイ前にバイアスを検出できないこともあります。また別の時には、「このシステムは実際に存在するのか？」あるいは「特定の課題に対してAIが最良の解決策なのか？」といった問いが生じます。
これらの問題を外部の政策問題として捉えるのではなく、講演ではこれらがエンジニアリングプロセスそのものから生じていることを強調しました。
AI システムは、その設計に埋め込まれた価値観を反映します。データ収集、特徴量エンジニアリング、モデルアーキテクチャ、評価指標に関する意思決定はすべて、本番環境でのシステムの振る舞いに影響を与えます。例えば、貸与承認、採用プロセス、医療診断におけるバイアスのある結果は、代表性に欠けるトレーニングデータや、定義が不十分な最適化目的によって引き起こされる可能性があります。明示的なチェックがない場合、モデルはデータセットに含まれる歴史的バイアスを強化してしまう恐れがあります。
発表によると、AI ライフサイクルに倫理原則を統合するには、デプロイ後ではなく開発を通じてエンジニアが問いかける必要があります。これには、代表性についてデータを評価すること、人口統計グループ全体でモデルの振る舞いを測定すること、そしてデプロイ後もシステムが観測可能であることを保証することが含まれます。この講演では、AI システム設計を導くいくつかの原則が紹介されました。公平性（Fairness）、透明性（Transparency）、セキュリティ（Security）、持続可能性（Sustainability）、説明責任（Accountability）は、AI 搭載システムを構築する際にエンジニアが考慮すべき主要な次元として提示されました。
公平性とは、モデルが異なるグループでどのように機能するかを評価し、結果が特定の集団に体系的に不利益をもたらさないようにすることを意味します。透明性とは、ステークホルダーが意思決定が行われる仕組みを理解できるようにするために、モデルの解釈可能性と説明可能性を高めることを指します。
セキュリティは、プロンプトインジェクションやモデル抽出といった新たな攻撃ベクトルが AI システムにおいてより一般的になるにつれて、特に注目される新興の懸念事項です。また、大規模モデルのトレーニングおよび展開に伴う計算コストのため、持続可能性も注目を集めています。これらの次元は抽象的な原則ではなく、エンジニアリング実践を通じて対処可能です。
組織が直面する課題の一つは、高レベルな倫理的概念を実践的なエンジニアリングワークフローに変換することです。チームは公平性や透明性の重要性を理解していることが多いものの、それらを実装するための明確な手法を欠いているケースが多く見られます。
本発表では、開発ライフサイクル全体に倫理的チェックを組み込むことを提案しました。これには、モデルトレーニング中の公平性評価、展開前の説明可能性分析、敵対的攻撃に対するセキュリティテスト、およびプロダクション環境での予期せぬ挙動を検出する監視システムなどが含まれます。
これらの実践をシステムアーキテクチャの初期段階から取り入れることで、組織はシステムがすでに運用されている後に倫理的な問題が発見されるリスクを低減できます。本講演では、現在の AI 開発の段階を過去の技術的転換期と比較しました。航空、電力、自動車工学などの産業分野では、当初、それらを規制するために必要な安全基準よりも技術の進展の方が速かったのです。時が経つにつれて、これらの業界は、大規模なシステムを信頼性のあるものとするために、新たなエンジニアリング実践、標準規格、および規制枠組みを発展させてきました。
AI は同様の段階に入りつつあります。AI システムが実験的なツールから重要なインフラへと移行するにつれ、エンジニアリングプラクティスは安全性、信頼性、倫理的配慮をシステムの核心的要件として取り入れるように進化していくでしょう。ソフトウェアアーキテクトやエンジニアリングリーダーは、これらのプラクティスを形成する上で重要な役割を果たします。技術の進歩が規制よりも速いことが多いため、開発者は公式な基準がまだ確立されていない環境で活動することが頻繁にあります。
この文脈において、倫理的原則はチームが新たなリスクをナビゲートするための設計ガイドラインとして機能し得ます。倫理的 AI を後付けではなくエンジニアリングの一分野として扱う組織は、信頼性が高くレジリエントなシステムを構築する上でより有利な立場に置かれるでしょう。これは責任のすべてがエンジニアリングチームにあるという意味ではありませんが、彼らが具体的に何ができるか——公平性、説明責任、透明性をどのようにシステム要件や開発プラクティスへと翻訳できるか——を示すものであり、ガバナンスやリーダーシップの説明責任の必要性を代替するものではないことを意味します。
発表は、開発者が AI システムの倫理的性質を測定可能なエンジニアリング要件として扱うよう促すことで締めくくられました。公平性の評価、説明可能性の確認、セキュリティテスト、リソース効率化を開発ライフサイクルに組み込むことで、AI システムが技術的に堅牢であると同時に社会的にも責任あるものとなるよう確保できます。AI が製品、プラットフォーム、インフラストラクチャにますます埋め込まれていく中で、開発段階で行われるエンジニアリングの判断は、これらのシステムが社会に与える影響を形作る上で、より一層重要な役割を果たしていくことになります。
著者について
Daniel Dominguez
Daniel は SamXLabs のマネージングパートナーです。SamXLabs は AWS パートナーネットワークに参加する企業です。彼はスタートアップおよびフォーチュン 500 企業のソフトウェア製品開発において、13 年以上の経験を持っています。ワシントン大学で工学の学位を取得し、機械学習の専門分野を修了しています。AI とクラウドコンピューティングを活用して革新的なソリューションを生み出すことに情熱を注いでいます。機械学習ティアの AWS コミュニティビルダーとして、知識の共有とソフトウェア製品のイノベーション推進に尽力しています。
詳細を表示 非表示
原文を表示
At QCon London 2026, Clara Higuera, Responsible AI Lead at BBVA, presented how many of the risks associated with AI systems are fundamentally engineering challenges rather than purely governance or policy issues. The session examined how AI systems are increasingly embedded in critical products and decision-making processes. As adoption grows, failures in these systems can have significant real-world consequences. This shift requires engineers to treat ethical properties of AI systems with the same rigor applied to reliability, performance, or security.
The talk opened with a widely reported case in the United States where Robert Williams, was wrongfully arrested after being misidentified by a facial recognition system. Incidents like this highlight how algorithmic errors can directly affect individuals and communities.
Such failures often arise ethical questions in which in some cases arise from technical and design choices made during development. Other training datasets may not represent the populations affected by the system, model architectures may lack explainability, and evaluation pipelines may fail to detect bias before deployment. Other times, they raise questions such as: does this system even exist? Or is AI the best solution for a specific problem?
Rather than viewing these issues as external policy concerns, the talk emphasized that they originate within the engineering process itself.
AI systems encode the values embedded in their design. Decisions about data collection, feature engineering, model architecture, and evaluation metrics can all influence how a system behaves in production. For example, biased outcomes in loan approvals, hiring processes, or medical diagnostics can result from unrepresentative training data or poorly defined optimization objectives. Without explicit checks, models can reinforce historical biases present in datasets.
According to the presentation, integrating ethical principles into the AI lifecycle requires engineers to ask questions throughout development rather than after deployment. This includes evaluating datasets for representativeness, measuring model behavior across demographic groups, and ensuring that systems remain observable once deployed. The talk highlighted several principles that can guide AI system design. Fairness, transparency, security, sustainability, and accountability were presented as key dimensions that engineers must consider when building AI-powered systems.
Fairness requires evaluating how models perform across different groups and ensuring that outcomes do not systematically disadvantage specific populations. Transparency involves improving the interpretability and explainability of models so that stakeholders can understand how decisions are made.
Security is another emerging concern, particularly as new attack vectors such as prompt injection and model extraction become more common in AI systems. Sustainability is also gaining attention due to the computational cost associated with training and deploying large models. These dimensions rather than abstract principles can be addressed through engineering practices.
One of the challenges organizations face is translating high-level ethical concepts into practical engineering workflows. Teams often understand the importance of fairness or transparency but lack clear methods for implementing them.
The presentation suggested embedding ethical checks throughout the development lifecycle. This can include fairness evaluation during model training, explainability analysis before deployment, security testing against adversarial attacks, and monitoring systems that detect unexpected behavior in production.
By incorporating these practices early in the system architecture, organizations can reduce the risk of discovering ethical issues after systems are already in use. The talk compared the current stage of AI development to earlier technological transitions. Industries such as aviation, electricity, and automotive engineering initially advanced faster than the safety standards needed to govern them. Over time, those industries developed new engineering practices, standards, and regulatory frameworks to make systems reliable at scale.
AI appears to be entering a similar phase. As AI systems move from experimental tools into critical infrastructure, engineering practices will likely evolve to incorporate safety, reliability, and ethical considerations as core system requirements. Software architects and engineering leaders play an important role in shaping these practices. Because technology often evolves faster than regulation, developers frequently operate in environments where formal standards have not yet been established.
In this context, ethical principles can act as design guidelines that help teams navigate emerging risks. Organizations that treat ethical AI as an engineering discipline rather than an afterthought may be better positioned to build trustworthy and resilient systems. This does not mean that the whole responsibility is from the engineering team but what they can concretely do — how fairness, accountability, and transparency can be translated into system requirements and development practices — without suggesting that this replaces the need for governance or leadership accountability.
The presentation concluded by encouraging developers to treat ethical properties of AI systems as measurable engineering requirements. Incorporating fairness evaluation, explainability checks, security testing, and resource efficiency into the development lifecycle can help ensure that AI systems remain both technically robust and socially responsible. As AI continues to become embedded in products, platforms, and infrastructure, the engineering decisions made during development will increasingly shape how these systems affect society.
About the Author
Daniel Dominguez
Daniel is the Managing Partner at SamXLabs an AWS Partner Network company. He has over 13 years of experience in software product development for startups and Fortune 500 companies. Daniel holds a degree in Engineering and a Machine Learning specialization from the University of Washington. He is passionate about leveraging AI and cloud computing to create innovative solutions. As an AWS Community Builder in the Machine Learning tier, Daniel is committed to sharing knowledge and driving innovation in software products.
Show moreShow less
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み