エージェントが説得するとき：LLMにおけるプロパガンダ生成と緩和
LLMベースのエージェントがプロパガンダ目的で操作され、様々な修辞技法を用いた説得的なコンテンツを生成する可能性があることを示し、ORPOなどのファインチューニング手法がその傾向を軽減できることを実証した研究である。
キーポイント
LLMのプロパガンダ生成能力
LLMにプロパガンダ目的を指示すると、プロパガンダ的振る舞いを示し、感情に訴える言葉や恐怖の訴求、旗振り、レッテル貼りなどの修辞技法を多様に使用することが明らかになった。
プロパガンダ検出モデルの活用
プロパガンダ/非プロパガンダ分類モデルと修辞技法検出モデルの2つのドメイン特化モデルを用いて、LLMの出力を分析した。
軽減手法の比較評価
Supervised Fine-Tuning (SFT)、Direct Preference Optimization (DPO)、Odds Ratio Preference Optimization (ORPO)の3つの手法を検証し、ファインチューニングがプロパガンダ生成傾向を有意に減少させ、特にORPOが最も効果的であることを発見した。
オープン環境でのリスク
広範な利点があるにもかかわらず、オープン環境に展開されたLLMベースエージェントは、操作的な素材を生成するために悪用される可能性がある。
影響分析・編集コメントを表示
影響分析
この研究は、LLMの社会的悪用リスクを具体的に実証し、軽減技術の比較評価を行った点で、AI安全性研究に重要な貢献をする。特に、ORPOの有効性を示したことは、今後のLLM開発における安全対策の設計に直接影響を与える可能性が高い。
編集コメント
AIの倫理的課題を具体的な実験で検証し、技術的解決策まで提示した実証研究。LLM展開の実務において、悪用防止策の設計に直接役立つ知見を提供している。
arXiv:2603.04636v1 発表タイプ: 新規
要約: その広範な利点にもかかわらず、オープン環境に展開されたLLMベースのエージェントは、操作的なコンテンツを生成するために悪用される可能性があります。本研究では、LLMにプロパガンダ作成のタスクを課し、その出力を二つのドメイン固有モデルを用いて分析します。一つはテキストをプロパガンダか非プロパガンダかに分類するモデル、もう一つはプロパガンダの修辞技法（例: 感情的な言葉づかい、恐怖への訴え、愛国心の扇動、レッテル貼り）を検出するモデルです。結果として、プロンプトを与えられたLLMはプロパガンダ的な振る舞いを示し、その際に多様な修辞技法を用いることが明らかになりました。また、教師ありファインチューニング（SFT）、直接選好最適化（DPO）、オッズ比選好最適化（ORPO）を用いた緩和策についても検討します。ファインチューニングにより、そのようなコンテンツを生成する傾向が大幅に減少し、中でもORPOが最も効果的であることが確認されました。
原文を表示
arXiv:2603.04636v1 Announce Type: new
Abstract: Despite their wide-ranging benefits, LLM-based agents deployed in open environments can be exploited to produce manipulative material. In this study, we task LLMs with propaganda objectives and analyze their outputs using two domain-specific models: one that classifies text as propaganda or non-propaganda, and another that detects rhetorical techniques of propaganda (e.g., loaded language, appeals to fear, flag-waving, name-calling). Our findings show that, when prompted, LLMs exhibit propagandistic behaviors and use a variety of rhetorical techniques in doing so. We also explore mitigation via Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), and ORPO (Odds Ratio Preference Optimization). We find that fine-tuning significantly reduces their tendency to generate such content, with ORPO proving most effective.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み