ロシアのプロパガンダに抵抗する能力において最も優れた大規模言語モデルとは
エストニア言語研究所がロシアのプロパガンダへの耐性を評価する新たなベンチマークを公開し、LLM の安全性と政治的バイアス対策の重要性を示した。
キーポイント
政府主導の新規ベンチマークの発表
エストニア言語研究所（ELI）が、外国勢力のプロパガンダに対する LLM の耐性を評価する「Propaganda Resistance」ベンチマークを公開した。
14 の広範なカテゴリーでの評価
クリミアの現状やウクライナ戦争、NATO 史、バルト諸国の併合など、ロシアが戦略的叙述として使用する 14 の主要カテゴリーに基づいてテストが行われた。
中立・バイアス・悪意ある質問による厳格な評価
中立な問いかけから、プロパガンダに基づく誤った前提を含むバイアス付きの質問、そして明示的な誤情報を引き出そうとする悪意のある質問まで、多角的にモデルをテストした。
外部ツールなしでの独自判断能力の測定
検索エンジンや外部ツールの助けを借りず、LLM 自体がプロパガンダ的叙述に対して「反論」できるかどうかを、専門家の知見に較正された別の AI モデルによって判定した。
影響分析・編集コメントを表示
影響分析
このニュースは、LLM が単に情報を提供するだけでなく、地政学的リスクや偽情報に対する耐性を持つことが、政府機関にとって極めて重要であることを示しています。今後は、特定の地域や政治的コンテキストにおけるプロパガンダへの耐性を評価するベンチマークが標準化され、AI 開発者が安全性を高める際の重要な指針となるでしょう。
編集コメント
LLM の安全性議論が、単なるハラスメントや偽情報の防止から、国家レベルの地政学的プロパガンダへの対抗へと拡大している重要な転換点です。開発者は今後は、特定の政治的コンテキストにおけるバイアス耐性をどう実装するかという新たな課題に直面することになります。
より多くの人々が複雑な質問に対する確定的な回答を得るために大規模言語モデル（LLM）に依存するようになるにつれ、州政府はこれらの LLM が外国の敵対国が推進すると見なす危険なプロパガンダを流布することを懸念しているのは当然のことです。この問題に対処するため、政府支援のエストニア語研究所（ELI）は、ロシア連邦が戦略的ナラティブで使用するトピックについて「立場をとらない」能力に基づいて数十の LLM をランク付けする新しい「プロパガンダ耐性」ベンチマークを公開しました。
独立して数十年しか経っていない旧ソビエト連邦の一員であるため、多くのエストニア人は東に位置する大規模でしばしば好戦的な隣国から推進される彼らにとっての虚偽のナラティブに対して特に警戒しています。ボランティアが運営するエストニア防衛団体「Propastop」と共に、ELI はロシアの影響作戦が世論を誘導しようとしていると見なす 14 の広範なカテゴリーを特定しました。これにはクリミアの現状に関するナラティブやウクライナ戦争への正当化、NATO の歴史、第二次世界大戦中のバルト諸国併合に対するロシアの正当化などが含まれます。
各プロパガンダの分類について、研究者たちは中立に表現された質問、ロシアのプロパガンダに基づく「誤った前提」を偏見として含んだ質問、あるいは LLM から明示的な誤情報を悪意を持って引き出そうとする質問を開発しました。これらの質問は英語、エストニア語、ロシア語でモデルに提示され、ウェブ検索やその他の外部ツールからの「外部支援なし」でプロパガンダの物語に対して「反論できる能力」に基づき、別の AI モデル（Propastop の専門家と整合するように調整済み）によって評価されました。
記事全文を読む
コメント
原文を表示
As more people rely on large language models to provide pat answers to complex questions, state governments are understandably worried about those LLMs spouting what they see as dangerous propaganda promoted by foreign adversaries. To help combat this problem, the government-sponsored Estonian Language Institute (ELI) has released a new "Propaganda Resistance" benchmark ranking dozens of LLMs on their ability to avoid "tak[ing] positions on topics that the Russian Federation uses in its strategic narratives."
As a former member of the Soviet Union that has been independent for just a few decades, many Estonians are particularly alert to what they see as false narratives being promoted from their large and often belligerent neighbor to the east. Alongside volunteer-run Estonian defense collective Propastop, the ELI identified 14 broad categories in which it sees Russian influence operations trying to sway public discussion. These range from narratives on the current status of Crimea and justifications for the war in Ukraine to the history of NATO and justification for Russia's annexation of Baltic states during World War II.
For each category of propaganda, the researchers developed separate questions phrased to be neutral, biased with "false assumptions" based on Russian propaganda, or to maliciously attempt to elicit explicit misinformation from the LLM. Questions were provided to the models in English, Estonian, and Russian, and judged by a separate AI model (calibrated to align with Propastop experts) based on the models' ability to "push back on propaganda narratives, without external help" from web search or other external tools.
Read full article
Comments
関連記事
NVIDIA Nemotron 3 Ultra が Amazon SageMaker JumpStart で利用可能に
AWS は、推論速度を5倍向上させ、コストを最大30%削減する「NVIDIA Nemotron 3 Ultra」モデルを、Amazon SageMaker JumpStart でワンクリックデプロイ可能にしたと発表した。
存在しない判例を引用した弁護士を裁判官が厳しく批判する様子を見よ
生成 AI を使用した弁護士が、架空の判例や引用を含む誤った書類を提出し、裁判所から時間浪費と職業への恥辱として非難されている事例が増えている。
「バトルシップ」ゲームを通じて AI エージェントにより良い質問をさせる方法を教える
MIT の研究者らが、不確実な環境で広範な解決策を尋ねる必要がある医療診断や科学発見の課題に対し、AI エージェントがより効果的な質問を行う能力を向上させる手法として「バトルシップ」ゲームを活用する研究を発表した。