選挙ディープフェイク78件を分析。政治的誤情報はAIの問題ではない

AI によって生成された誤情報は、2024 年米国大統領選挙における主要な懸念事項の一つでした。2024 年 1 月、世界経済フォーラムは「誤情報と偽情報は、世界が直面している最も深刻な短期的リスク」であり、「AI が社会を不安定化させる可能性のある操作され歪曲された情報を増幅している」と主張しました。2024 年の選挙に関するニュースの見出しも同様の物語を語っています：

一方、過去の著作において私たちは、AI が誤情報の終末を招くことはないだろうと予測しました。Meta がオープンウェイトの大型言語モデル（LLaMA と呼ばれる）をリリースした際、それが誤情報の津波をもたらすものではないと主張しました。そして続編のエッセイでは、影響力を持つ作戦における鍵となるボトルネックは誤情報の流通であり、生成 AI は誤情報を作成するコストを削減するものの、それを流通させるコストまで下げるわけではないことを指摘しました。他の研究者たちも同様の論点を述べています。

これらの二つの視点のうち、どちらが事実により合致しているのでしょうか？

幸いにも、2024 年に世界各地で行われた選挙における AI の使用に関する証拠が存在し、この問いに答える手助けをしてくれます。多くの報道機関や研究プロジェクトが、AI 生成のテキストやメディアとその影響について知られている事例を収集しています。AI の潜在的な可能性について推測するのではなく、これまでの現実世界での影響に目を向けることができます。

私たちは、WIRED AI Elections Project が収集した 2024 年に世界各地で開催された選挙において政治コンテンツ作成のために使用されたすべての AI の事例を分析しました。各ケースにおいて、AI が何のために使用されたかを特定し、AI を使わずに同様のコンテンツを作成するコストを見積もりました。

その結果、(1) AI の利用の半分は欺瞞的なものではないこと、(2) AI を用いて作成された欺瞞的なコンテンツであっても、それを AI なしで複製することは依然として安価であること、そして (3) 誤情報の供給ではなく需要に焦点を当てる方が、問題を診断し介入策を特定するはるかに効果的な方法であることが分かりました。

明確にしておきますが、AI 生成の合成コンテンツには多くの現実的な危険が存在します：同意のない人物の画像や児童性的虐待材料の作成、そして「嘘の配当（liar's dividend）」の助長です。これは権力にある人々が、自分自身に関する実際には存在するが恥ずかしいまたは論争を呼ぶメディア内容を、AI 生成であると主張して無視できるようにする現象です。これらはいずれも重要な課題です。本稿で焦点を当てているのは別の問題、すなわち政治的な誤情報です。

1

情報環境の改善は、困難かつ継続的な課題です。AI が問題を悪化させていると人々が考える理由も理解できます：確かに AI は偽造されたコンテンツを可能にします。しかし、それは政治的誤情報の風景を根本的に変えたわけではありません。

皮肉なことに、AI に関する警鐘は、情報環境への懸念を個別の問題として、個別の解決策を持つものとして位置づけるため、かえって安心感を与える可能性があります。しかし、情報環境に対する対策は、AI 生成コンテンツの抑制ではなく、構造的および制度的な変化に依存しています。

2024 年選挙におけるディープフェイクの半分は欺瞞的ではなかった

私たちは WIRED AI 選挙プロジェクト（分析のソース）で確認された AI の使用事例 78 件すべてを分析しました。各事例について、欺瞞的な意図があったかどうかに基づいて分類しました。例えば、AI を使用して候補者が実際には発言していないことを示す偽のメディアを作成した場合、それは欺瞞的であると分類します。一方、チャットボットが真摯なユーザーの質問に対して誤った回答を行った場合、パロディや風刺のためにディープフェイクが作成された場合、あるいは候補者が透明性を持って AI を使用してキャンペーン資料を改善した場合（例えば、自分が話さない言語に演説を翻訳するなど）、それは欺瞞的ではないと分類します。

驚くべきことに、データベース内の 78 の事例のうち 39 件には欺瞞的な意図はありませんでした。

AI の最も一般的な非欺瞞的な利用は、選挙活動のためでした。候補者や支持者が選挙活動に AI を使用した場合、ほとんどのケース（22 件中 19 件）では、誤った情報で有権者をだますのではなく、選挙活動の資料を改善することが明らかな意図でした。

私たちは、むしろ情報環境の改善に寄与したと思われるディープフェイクの例も発見しました。ベネズエラでは、ジャーナリストが政府への報復を避けるために、政府に敵対的なニュースを報道する際に AI アバターを使用しました。米国では、アリゾナ州のローカルニュース組織「Arizona Agenda」が、動画がどのように容易に操作されるかを視聴者に教育するためにディープフェイクを利用しました。カリフォルニア州では、喉頭炎で声を失った候補者が、有権者との対面イベント中に、自分の声でタイプされたメッセージを読み上げるために、透明性を持って AI 音声クローニングを使用しました。

選挙活動資料における AI の利用が正当であるか、あるいは適切なガードレールが必要かどうかについては、合理的な人々の間で意見が分かれるでしょう。しかし、AI を有権者への outreach（接触・働きかけ）を改善するためのツールとして使用するなど、欺瞞的な方法で選挙活動資料に AI を利用することは、有権者を動揺させるために生成された偽ニュースを配布するよりもはるかに問題が少ないと言えます。

もちろん、すべての欺瞞的でない AI 生成の政治コンテンツが無害というわけではありません。3 チャットボットは選挙関連の質問に対して誤って回答することがよくあります。これは欺瞞的な意図によるものではなく、チャットボットの限界、すなわちハルシネーション（幻覚）や事実性の欠如に起因するものです。残念ながら、これらの限界がユーザーに明確に伝えられていないため、欠陥のある大規模言語モデル（LLM）4 に対する過度な依存が生じています。

欺瞞的な政治的誤情報を作成するには AI は不要です

視聴者に明らかに偽の情報だと信じ込ませることを意図した 39 の事例それぞれについて、AI を使用せずに同様のコンテンツを作成するコストを推定しました。例えば、Photoshop の専門家や動画編集者、声優を雇う場合などです。どのケースでも、AI を使わずに同様のコンテンツを作成するコストは modest（手頃なものでした）— 数百ドルを超えることはありませんでした。（なお、WIRED の選挙データベースでは、雇った舞台俳優が出演した動画が誤って AI 生成とマークされていた事例も見つかりました。）

実際、AI やその他の高度なツールを使用しなくても、完全に虚偽の情報を含むメディアを作成することは以前から可能でした。ある動画では舞台俳優を用いて、米国のカマラ・ハリス副大統領兼民主党の候補者がひき逃げ事件に関与したと偽って主張しました。別の動画では、副大統領の演説をスロー再生して、彼女が言葉を滑らかに発していないように見せかけました。インドの野党候補ラーフル・ガンディーに関する編集された動画では、現職のナレンドラ・モディ氏が選挙に勝利すると発言している様子が映し出されました。元の動画ではガンディー氏は「相手は選挙に勝てない」と述べていましたが、「not（～しない）」という単語をジャンプカットで削除する編集が施されていました。このようなメディアコンテンツは、AI 生成による「ディープフェイク」と対比される「チープ・フェイク」と呼ばれています。

2024 年の米国選挙では、チープ・フェイクの事例が多数確認されました。ニュースリテラシー・プロジェクト（News Literacy Project）は選挙に関する既知の誤情報を実証し、チープ・フェイクの使用頻度が AI 生成コンテンツの 7 倍であることを発見しました。同様に、他の国々でもチープ・フェイクは非常に一般的でした。インドに拠点を置くファクトチェッカーは、ディープフェイクと比較して、1桁多い数のチープ・フェイクと伝統的な編集メディアをレビューしました。バングラデシュでは、チープ・フェイクの発生頻度がディープフェイクの 20 倍以上でした。

メディアの注目を集めたディープフェイクとほぼ同様の影響を、いかに安価な偽造画像（cheap fakes）が引き起こし得たかを分析するために、2 つの事例を検討してみましょう。1 つはドナルド・トランプ氏がテイラー・スウィフトのディープフェイクを利用した選挙活動であり、もう 1 つはニューハンプシャー州予備選挙でジョー・バイデン米大統領の声声を模倣した自動音声通話（voice-cloned robocall）が有権者に投票しないよう呼びかけた事件です。

ドナルド・トランプ氏が共有した Truth Social の投稿には、"Swifties for Trump"（スウィフトファンによるトランプ支持）の T シャツを着たテイラー・スウィフトのファンの画像が掲載されています。左上：多くの AI 生成画像が含まれる投稿で、女性たちが"Swifties for Trump"の T シャツを着ており、「風刺」というラベルが付いています。右上："Swifties for Trump"の T シャツを着たトランプ支持者のジェナ・ピウォワルチク（Jenna Piwowarczyk）氏の実際の画像です。左下：アメリカ国旗の前で撮影されたテイラー・スウィフトの捏造画像で、キャプションには「テイラーはドナルド・トランプに投票してほしいと考えています」と記載されています。この画像が AI によって作成されたのか、他の編集ソフトウェアを用いたものかは不明です。右下：2 つの画像を含む Twitter の投稿で、1 つは AI 生成、もう 1 つは実際の女性たちが"Swifties for Trump"の T シャツを着ているものです。

トランプ氏がスウィフトのディープフェイクを利用したことは、テイラー・スウィフトが彼を支持し、スウィフトのファンが大挙して彼の集会に参加していることを示唆するものでした。この投稿の後、多くのメディア機関は誤情報の拡散の原因として AI を非難しました。

しかし、AI を使わずに同様の画像を再現するのは容易です。スウィフト氏の支持を示す画像は、彼女の既存の画像のいずれかにトランプ氏への支持を表明するテキストをフォトショップで合成することで作成できます。同様に、「Swifties for Trump」の T シャツを着たトランプ支持者の画像を得るには、集会で無料の T シャツを配布するか、あるいはトランプ氏の集会にいるスウィフトファンに選択的に働きかけることで達成可能です。実際、トランプ氏が共有した 2 つの画像は、トランプ支持者でありかつスウィフトファンでもある人物の実際の写真でした。

もう一つの一時的なパニックを引き起こした事案は、ニューハンプシャー州予備選挙で投票しないよう人々に呼びかけるジョー・バイデン米大統領の声の AI クローンでした。

バイデン氏による自動音声電話（ロボコール）の直後のニュース見出し。

このような自動音声電話に対する規制はすでに何年も前から存在しています。実際、この特定の自動音声電話の実行者に対して連邦通信委員会（FCC: Federal Communications Commission）は 600 万ドルの罰金を科しました。FCC には同様の攻撃を報告するための通報窓口があり、AI が使用されたかどうかに関わらず、自動音声電話に関する規制を頻繁に執行しています。今回の自動音声電話は静的な録音を使用していたため、AI を使わずとも—例えば声真似師を雇うことで—ほぼ同じように作成可能でした。

また、自動音声通話の影響についても不明確です。ディープフェイクの有効性は、受信者がアメリカ合衆国大統領が電話をかけてきて、予備選挙で投票しないよう求めるのは自分自身への個人的な呼びかけだと信じるかどうかにかかっています。

技術の向上と選挙に影響を与えようとするアクターの専門知識が進歩すれば、より効果的な AI による誤情報が生み出されるようになるまでには時間がかかるだけでしょうか。私たちはそうは思いません。次のセクションでは、誤情報の需要を駆動する構造的な要因が AI によって助長されているわけではないことを指摘します。その後、新しいツールのリリースに伴って起こった、AI による誤情報の次なる波に関する予測の歴史を振り返り、それらが実現しなかった事実を確認します。

誤情報への需要

誤情報は供給と需要の力を通じて捉えることができます。供給側は、クリック数を稼ぐことで儲けたい人々、自陣営が勝つことを望む党派主義者、あるいは影響力行使オペレーションを行いたい国家アクターです。これまでに実施された介入は、ほぼ完全に誤情報の供給を抑制することに焦点を当てており、需要には手を付けていません。

AI に焦点を当てることは、この傾向の最新例にほかなりません。AI は誤情報を生成するコストをほぼゼロまで引き下げるため、誤情報を供給問題として捉える分析家は非常に懸念しています。しかし、誤情報への需要を分析することで、誤情報がどのように拡散し、どのような介入が効果的であるかを明確にすることができます。

誤情報の需要を分析すると、人々が特定の世界観を持っている限り、その世界観と一致する情報を探し出し、見つけ出すことがわかる。ある人の世界観が何であるかによって、問題となる情報はしばしば誤情報であり、あるいは異なる世界観を持つ人々からは誤情報とみなされるだろう。

つまり、成功した誤情報作戦は、メッセージの広範な意図にすでに同意している人々、すなわちイングループ（内集団）の構成員を対象とする。そのような受信者は、自分の世界観に合致するメッセージに対して懐疑心が低く、場合によっては誤った情報を故意に増幅することにさえ応じる可能性がある。この文脈では、効果的な誤情報活動のために洗練されたツールは必要ない。逆に言えば、AI を使用したかどうかに関わらず、自分たちが同意しない誤情報をアウトグループ（外集団）の構成員に納得させることは極めて困難である。

この視点から見ると、AI による誤情報は、選挙で有権者の支持を揺さぶるという一般的な描写とは非常に異なる役割を果たしている。誤情報の供給量を増やしても、同じ視線を巡って競合するだけなので、誤情報への需要のダイナミクスに実質的な変化をもたらすものではない。さらに、増加した誤情報の供給は、すでにそれに同意し、誤情報を大量に消費する一部の党派層によって主に消費される可能性が高く、より広範な一般大衆を説得するためには利用されないだろう。

これは、低品質であるにもかかわらず、無関係なイベントからのメディアやジャンプカットのような従来の動画編集、さらにはビデオゲームの映像といった安価な偽物が誤情報拡散に効果的である理由も説明しています。相手がすでにそのメッセージに同意している場合、誤情報を信じ込ませるはるかに容易だからです。

私たちが行った誤情報需要に関する分析は、主要政党が有権者への働きかけにおいて同程度の能力を持ち、有権者の（誤）情報需要がすでに飽和状態にあるような、分断された接戦国において最も適用可能である可能性があります。

それでも、私たちの知る限り、これまでに 2024 年に選挙を実施したすべての国において、AI を利用した誤情報の影響は懸念されていたほどには及んでいません。インドでは、ディープフェイクは誤情報を広めるよりも嫌がらせに使用されました。インドネシアでは、AI の影響は誤情報を撒き散らすことではなく、AI で生成されたデジタルカートゥーンアバターを用いて、当時候補者であり現在は大統領であるプラボーボ・スビアンタ（過去の多くの人権侵害で告発されている元将軍）のイメージを親しみやすいものとして和らげることにありました。

なぜ AI 誤情報への懸念は繰り返されるのか？

2024 年の選挙サイクルは、AI ディープフェイクが政治的な誤情報の蔓延を引き起こすという広範な恐怖が存在した初めての出来事ではありません。2020 年米国選挙の前にも、AI に関する驚くほど類似した懸念が表明されましたが、それらは現実のものとはなりませんでした。新しい AI ツールのリリースは往々にして、新たな波の誤情報を解き放つという不安を伴います：

2019 年。OpenAI が 2019 年に GPT-2 シリーズのモデルをリリースした際、同シリーズで最も能力の高いモデルの重み（weights）を公開するのを控えた主な理由の一つは、それが誤情報（misinformation）を生成する潜在的な可能性を持つという指摘があったからでした。

2023 年。Meta が 2023 年に LLaMA モデルをオープンにリリースした際、複数の報道機関が、これが AI による誤情報の洪水を引き起こすだろうと懸念を表明しました。これらのモデルは、OpenAI が 2019 年にリリースした GPT-2 モデルよりもはるかに強力でした。しかし、LLaMA や他の大規模言語モデル（large language models）の使用に起因する大規模な有権者への説得の証拠はまだ見ていません。

2024 年。最も最近では、スマートフォンにおける AI 画像編集ツールの広範な利用可能性が、同様の懸念を呼び起こしています。

出典、一次情報源

実際、新しい技術を用いて虚偽の情報を作成することへの懸念は、1 世紀以上前にさかのぼります。19 世紀後半から 20 世紀初頭にかけて、写真のレタッチ（photo retouching）のための技術が登場しました。これに伴い、レタッチされた写真が人々を欺くために使用されるのではないかという懸念が高まり、1912 年には米国で、被写体の同意なしに写真編集を行うことを犯罪とする法案が提出されました（ただし、上院で廃案となりました）。

政治的な誤情報を技術的（あるいは AI）な問題と捉えることは魅力的に映ります。なぜなら、解決策が実行可能に見えるからです。有害な技術を巻き戻すことができれば、情報環境を劇的に改善できるはずだと！

情報環境の改善という目標は称賛に値しますが、技術を責めることでは解決しません。政治的な分極化はメディアへの信頼低下をもたらしました。人々は自分の世界観を確認するソースを好み、その世界観に合致するコンテンツに対して懐疑的になりにくくなっています。もう一つの主要な要因は、過去 20 年間にわたるジャーナリズム収益の劇的な減少です—これは主に伝統メディアからソーシャルメディアおよびオンライン広告への移行によって引き起こされました。しかし、これは特定のオンライン上の誤情報共有という脅力そのものよりも、人々が情報を求め消費する方法における構造的変化の結果であると言えます。

歴史学者のサム・レボビクが指摘したように、情報環境を改善することは、民主主義とその制度を強化するというより大きなプロジェクトと不可分に結びついています。私たちの情報問題を「解決」できるような即効性の技術的対策や、特定の規制はありません。政治的な誤情報の責任を AI に単純に押し付けるという誘惑を拒絶し、この困難な問題の深刻さに直面すべきです。

訂正：本論文の導入部における以前の版では、AI の利用の多くは欺瞞的ではないと記述されていました。実際、データベース内の 78 件の記事のうち 39 件が非欺瞞的な AI 利用の事例であり、政治コミュニケーションに限定し、詐欺行為である 4 事例を除いた場合、74 件中 39 件となります。

本論文はナイト第一修正条項研究所のウェブサイトにクロスポストされています。フィードバックを寄せてくださったケイティ・グレン・バス氏に感謝いたします。

1「誤情報（misinformation）」および「偽情報（disinformation）」という用語には合意された定義が存在しません。本稿では、「誤情報」という用語を、誤解を招く解釈的枠組みの問題とは対照的に、明白な虚偽情報を指すものとして使用します。「アウトグループ」の物語を多くの人々が「誤情報」と認識しているにもかかわらず、私たちが考えるに、誤情報のレンズは、枠組みや物語の違いを考えるための有用な方法ではありません。私たちはより狭義に、これらの物語を支持するために明確な虚偽情報を利用することに関心があります。

2 世界中の選挙で見つかったディープフェイクの総数が少ないことは、それ自体驚くべきことです。この少数は、AI を用いたディープフェイクがこれまで予想されていたほど大きな問題ではないことを示しているか、あるいはデータベースに多くの欠落があるかのいずれかを意味する可能性があります。それでも、選挙関連のディープフェイクを追跡してきた他のデータベースも同様の総数を示しており、例えばドイツ・マーシャル財団が世界の 2024 年選挙に関連するディープフェイクとしてまとめたリストには 133 のエントリが含まれています（ただし、収集は 2023 年 9 月から開始されています）。本論文の他の箇所でも触れる通り、ニュース・リテラシー・プロジェクトが 2024 年選挙に関する既知の誤情報を実証した結果、AI を使用しない安価なフェイク（cheap fakes）は AI 生成コンテンツよりも 7 倍多く利用されていたことが判明しました。

3 データセットにはまた、政治家を装った AI 生成ディープフェイク動画が 4 件含まれており、これらは金融詐欺の遂行に用いられたものです。政治的な誤情報と比較すると、詐欺は全く異なるダイナミクス（より洗練された動画の方が説得力を持つ可能性がある）とリスク（民主主義への脅威ではなく、個人の金銭的被害を伴う）を持っています。同様に、詐欺に対処するには異なる介入が必要です。例えば、詐欺師のネットワークを監視・除去することは、主要なオンラインプラットフォームが長年行ってきた取り組みです。つまり、詐欺は別の問題であり、それを解決するための他の手段が存在します（一部のプラットフォームがそのための投資を十分に行っていないという事実にかかわらず）、本論文の範囲外となります。

42024 年米国選挙の最終局面において、Google と OpenAI はチャットボットによる選挙関連の問い合わせへの回答を制限しましたが、Perplexity などの競合他社は自社の製品が極めて正確であると主張し、この制限には加わりませんでした。より多くの人々がチャットボットを利用するようになる中、チャットボットが事実に基づいて質問に答える傾向や、回答を控える傾向の評価、回答の事実に基づく精度の向上、そして異なる言語や文脈においてチャットボットが適切に機能することの確保は、重要な取り組み領域です。