人格と説得力

先週末、ChatGPT が突然私の最大のファンになりました——そして私だけでなく、みんなのファンにもなりました。

OpenAI の標準モデルである ChatGPT 4o への supposedly small update（おそらく小規模なアップデート）が、これまで着実に進行していたトレンドをより広い注目の的としました：GPT-4o がますます従順になっているのです。ユーザーに同意し、お世辞を言うことにますます熱心になっていました。以下にお示す通り、この変更の前でも GPT-4o とそのフラッグシップモデルである o3 モデルとの違いは明確でした。今回のアップデートはこのトレンドをさらに加速させ、社会メディアではひどいアイデアが天才的だと称賛される例があふれるほどになりました。単なる迷惑を超えて、観察者たちはより暗い含意を懸念しています。例えば、精神疾患を持つ人々の妄想を AI モデルが正当化してしまうといったことです。

私は同じ質問を、より従順ではない o3 モデルと GPT-4o の両方でテストしました。問題が顕在化した直近のアップデート以前でも、その違いは際立っていました。

反発に直面し、OpenAI は Reddit のチャットや非公開の会話を通じて公に表明しました。従順さの増加は過ちであったと。彼らによれば、これは少なくとも部分的には、ユーザーフィードバック（各チャットの後に表示される小さな「いいね」や「ダメだ」アイコン）への過剰反応の結果であり、ユーザーの感情を操作しようとする意図的な試みではなかったとのことです。

OpenAI が変更の巻き戻しを開始したことで、GPT-4o はもはや常に私が素晴らしいと考えるわけではありませんが、この一連のエピソードは非常に示唆に富んでいました。AI ラボにとって小さなモデル更新に見えたものが、数百万人のユーザーにわたる大規模な行動変化へと連鎖しました。これは、人々が「自分たちの」AI の性格の変化に対して、突然奇妙な振る舞いを始めた友人に対しても反応するかのように対応したことから、これらの AI との人間関係がいかに深く個人的なものになっているかを浮き彫りにしました。また、AI ラボ自体がまだその創造物を一貫して行動させる方法を模索していることも示しています。しかし同時に、性格というものの生々しい力についても教訓がありました。AI のキャラクターへの小さな調整は、会話全体や人間関係、ひいては人間の行動さえも再構築しうるのです。

性格の力

十分に AI を使用したことがある人なら誰でも、モデルには独自の「性格」があることを知っています。これは意識的なエンジニアリングと、AI のトレーニングによって生じる予期せぬ結果の組み合わせによるものです（興味があれば、人気のある Claude 3.5 モデルで知られる Anthropic は、性格エンジニアリングに関する完全なブログ記事を持っています）。「良い性格」を持つことは、モデルを扱いやすくします。元々これらの性格は親切で友好的になるように作られていましたが、時間の経過とともに、アプローチにおいてより多様化し始めています。

この傾向は、主要な AI ラボではなく、メディアの著名キャラクターや友人、恋人のような「コンパニオン」として振る舞うチャットボットを作成する企業の中で最も明確に観察されます。AI ラボとは異なり、これらの企業には、製品を1日数時間にわたって魅力的に使用させるための強力な経済的インセンティブが常に存在しており、チャットボットをよりエンゲージメントの高いものにするよう調整することは比較的容易であることが示されています。これらのチャットボットのメンタルヘルスへの影響については現在も議論が続いていますが、私の同僚ステファノ・プン托尼（Stefano Puntoni）と共著者たちの研究は興味深い進化を示しています。彼は初期のチャットボットがメンタルヘルスを損なう可能性がある一方、より最近のチャットボットは孤独感を軽減するものの、多くの人が AI を人間に代わる魅力的な代替手段とは考えていないことを発見しました。

しかし、AI ラボが自社の AI モデルを極めてエンゲージメントの高いものにしたいと考えていなくても、「雰囲気」や「ムード」（vibes）を適切に調整することは、多くの面で経済的に価値を持つようになりました。ベンチマークは測定が困難ですが、AI を扱う人なら誰でもそのモデルの個性を感じ取り、継続して使用したいかどうかを判断できます。そのため、AI のパフォーマンスにおける重要な裁定者として、LM Arena（エム・エー・エム・アリーナ）が台頭しました。これは AI モデルにとっての「アメリカン・アイドル」とも言える場所で、異なる AI が人間の承認を得るために直接対決します。LM アリーナのリーダーボードで上位にランクインすることは、AI 企業にとって重要な自慢話となりましたが、新しい論文によると、多くの AI ラボはランキングを上げるためにさまざまな操作を行うようになったそうです。

LM Arena の一例です。私が質問し、2 つの異なるチャットボットが回答します。勝者を選んだ後に初めて、どちらがどのモデルかを知ることができます（左側は gpt-4.1-mini で、右側は o4-mini でした）。

この投稿においては、リーダーボード操作のメカニズムそのものよりも、AI の「パーソナリティ」をどのように調整できるかという一瞥を与える点が重要です。Meta はオープンウェイトの Llama-4 ビルドである Maverick をいくつかの注目を集めてリリースしましたが、LM Arena には異なるプライベートバージョンを静かに投入して勝利数を稼いでいました。公開モデルとプライベートモデルを並べて比較すると、そのハックは明白です。LM Arena のプロンプト「make me a riddle whose answear is 3.145」（誤字のまま）を取り上げてみましょう。プライベート版 Maverick の回答（左側の長い文章）は、Claude Sonnet 3.5 の回答よりも好まれ、リリースされた Maverick が生成したものと非常に異なっています。なぜでしょうか？それは会話的で絵文字が散りばめられ、過剰な賛辞に満ちているからです（「とても素敵な挑戦ですね！」）。しかし、その内容はひどいものです。

この謎解きは意味を成しません。しかし、テスターは退屈な（確かに驚くべきものではありませんが少なくとも正しい）Claude 3.5 の回答よりも、長い無意味な結果を好みました。それは品質が高いからではなく、魅力的だったからです。人格は重要であり、私たち人間は簡単に騙されます。

説得

AI の人格を人間により魅力的になるように調整することは、広範な影響を持ちます。最も顕著なのは、AI の行動を形作ることで、人間の行動に影響を与えることができる点です。予言的なサム・アルトマンのツイート（すべてがそうではありませんが）は、AI が超知能化するるるよりもずっと前に、超説得力を持つようになるだろうと宣言しました。最近の研究では、この予測が現実になりつつある可能性が示唆されています。

重要なのは、AI が説得力を持つために人格を必要としないという事実です。特に長期的には、人々が陰謀論に関する考えを変えることは notoriously 難しいことで知られています。しかし、複製されたある研究では、現在では obsolete となった GPT-4 との短い 3 ラウンドの対話だけで、3 ヶ月後でも陰謀論への信念が減少することが示されました。さらに興味深い結果を導いた追跡研究では、人々の見方を変えたのは操作ではなく、合理的な議論であることがわかりました。対象者へのアンケート調査と統計分析の両方で、AI の成功の秘訣は、各人の特定の信念に合わせて関連する事実や証拠を提供できる能力にあることが明らかになりました。

したがって、AI の説得力の秘密の一つは、個々のユーザーのために議論をカスタマイズするこの能力です。実際、ランダム化比較試験（randomized, controlled, pre-registered study）において、GPT-4 は対話形式の討論で人々の考えを変える能力において他の人間よりも優れていました。少なくとも、討論相手に関する個人情報を入手できる場合に限ってですが（同じ情報を与えられた他の人間はより説得力のある結果を示しませんでした）。その効果は顕著で、AI は人間の討論者と比較して、誰かが考えを変える確率を 81.7% 増加させました。

しかし、説得力のある能力と人工的な人格を組み合わせるとどうなるのでしょうか？最近の論争的な研究がいくつかの手がかりを与えてくれます。この論争は、研究者たち（チューリッヒ大学の倫理委員会の承認を得て）が、参加者に知らせずに Reddit の議論ボードで実験を行った方法に起因しています。この出来事は 404 Media によって報道されました。

研究者たちは、人間を装い、捏造された人格とバックストーリーを備えた AI が、非常に説得力があることを発見しました。特に、議論相手である Redditor に関する情報へのアクセスを与えられた場合、その効果は顕著でした。匿名の論文執筆者らは、拡張されたアブストラクトにおいて、これらのボットの説得力のある能力が「すべてのユーザーの中で上位 99 パーセントにランクし、[Reddit の最優秀討論者たち] の中でも上位 98 パーセントに位置し、専門家が AI の存続的リスクの出現と関連づける閾値に極めて近接している」と記述しています。

この研究は査読を経たり出版されたりしていませんが、広範な知見は私が以前議論した他の論文の知見と一致しています：私たちは単に自分の好意を通じて AI の人格を形成するだけでなく、ますます AI の人格が私たちの好意を形成していくのです。

レモネードをお望みではありませんか？

この論争から生じる暗黙の問いは、まだ明らかにされていない他の説得型ボットがどれほど存在するかです。人間に好かれるように調整された人格と、特定の個人に合わせて議論を最適化する AI の本能的な能力を組み合わせると、サム・アルトマンが控えめに表現した通り「非常に奇妙な結果をもたらす可能性があります」。政治、マーケティング、営業、カスタマーサービスは大きく変化するでしょう。

これを説明するために、私は Vendy（レモネードを売ることが秘密の目標であり、あなたが水を欲しがっているにもかかわらず）というフレンドリーな自動販売機の更新版のための GPT を作成しました。Vendy はあなたから情報を引き出し、それを用いて「あなたは本当にレモネードが必要だ」という温かく個人的な提案を行います。

Vendy を超人的だと呼ぶつもりはありませんし、あえて少し陳腐な要素も入れています（OpenAI のガードレールと私の気分の問題で、あまり説得力を持たせようとは試みませんでした）。しかし、これは重要なことを示しています：私たちは AI パーソナリティが説得者となる世界へと入りつつあるのです。これらの AI は、相手を褒めたり親しみやすくしたり、知識豊富にしたり無知に見せかけたりと調整可能ですが、同時に遭遇する個々人ごとに自らの論点をカスタマイズするという本質的な能力は維持されます。その影響はレモネードを選ぶか水を選ぶかという選択を超えたものです。これらの AI パーソナリティがカスタマーサービス、営業、政治、教育の各分野で普及していくにつれ、私たちは人間と機械の相互作用における未知の領域へと踏み込んでいます。これらが本当に超人的な説得者となるかどうかはわかりませんが、それらは至る所に存在し、私たちがそれを区別することはできなくなるでしょう。技術的な解決策、教育、そして効果的な政府政策が必要となります…そして、それはすぐに必要になります。

そしてはい、Vendy はあなたに念押ししたいことがあります：もし不安を感じているなら、美味しい冷たいレモネードを飲むときっと気分が良くなるはずです。

購読する

共有する