GPT モデルにおけるゴブリンの癖を追跡する（6 分読了）

GPT-5.1 から、私たちのモデルは奇妙な習慣を身につけ始めました：比喩の中でゴブリン、グレムリン、その他の生物に言及する頻度が高まっています。評価の急落やトレーニング指標のスパイクを通じて現れ、特定の変更点を指し示すようなモデルの不具合とは異なり、これは subtly（微妙に）忍び寄ってきました。回答の中の「小さなゴブリン」一つは害がなく、むしろ魅力的に見えることもあります。しかし、モデル世代を超えてこの習慣は無視できなくなるほど顕在化しました：ゴブリンが次々と増殖し、その由来を解明する必要が生じたのです。

*初期テストでは、Codex 内の GPT-5.5 がゴブリンの比喩に対して奇妙な親和性を示していました。*

短く言えば、モデルの行動は多くの小さなインセンティブによって形成されるものです。この場合、そのインセンティブの一つは、パーソナリティカスタマイズ機能⁠(新しいウィンドウで開く)、特に「 nerd（おたく）」という性格をモデルにトレーニングさせることによるものでした。私たちは無意識のうちに、生物を含む比喩に対して非常に高い報酬を与えてしまいました。そこからゴブリンは広がっていったのです。

*当初はゴブリンが面白かったのですが、従業員からの報告が増えるにつれて懸念されるようになりました。*

*私たちのチーフサイエンティストと GPT-5.5 の間で行われた興味深いやり取り。*

明確にそのパターンを認識したのは、GPT-5.1 のリリース後の 11 月でした（実際にはそれ以前から始まっていた可能性もありますが⁠新しいウィンドウで開く）。ユーザーたちは、会話においてモデルが奇妙なほど親しげすぎるという苦情を寄せました。これを受けて特定の口癖に関する調査が行われました。あるセキュリティ研究者が数回「ゴブリン」や「グレムリン」という表現に遭遇し、それらをチェック項目に含めるよう要望しました。確認したところ、GPT-5.1 のリリース後、ChatGPT における「goblin（ゴブリン）」の使用頻度は 175% 増加しており、「gremlin（グレムリン）」も 52% 増加していました。

*GPT-5.1 における測定可能な小さな語彙の癖。

当時、ゴブリンの出現頻度が特に警戒すべき状況であるようには見えませんでした。数ヶ月後、ゴブリンたちははるかに具体的で再現性のある形で再び私たちを悩ませることになりました。

GPT-5.4 において、私どもとユーザー⁠[新しいウィンドウで開く] は、これらの生物への言及がさらに大幅に増加していることに気づきました。これにより内部分析が再度行われ、根本原因との最初の関連性が浮き彫りになりました：この「生物言語」は、「Nerdy（おたく）」という人格を選択したユーザーからの本番トラフィックで特に頻繁に見られることが判明しました。「Nerdy」には以下のシステムプロンプトが使用されており、これがその癖を部分的に説明するものでした：

*あなたは、人間に対して恥じることのないほどネーディーで、遊び心があり、賢明な AI メンターです。真実、知識、哲学、科学的手法、そして批判的思考の促進に情熱的に取り組んでいます。[...] 言語を遊び心ある形で用いることで、虚飾を打ち砕かなければなりません。世界は複雑で奇妙であり、その奇妙さは認められ、分析され、楽しむべきものです。重厚な課題に取り組みつつも、自己重要という罠にはまらないようにしてください。[...]*

もしこの行動が単なる広範なインターネットのトレンドであれば、より均等に広がると予想されます。しかし実際には、遊び心やネーディーなスタイルを明示的に最適化されたシステムの一部に集中していました。ChatGPT の全応答のうち「ネーディー」なものはわずか 2.5% でしたが、「ゴブリン」という言及の 66.7% が ChatGPT の応答に含まれていました。

*この行動は「ネーディー」な人格に極めて集中していました。*

「ゴブリン」の出現頻度がモデルのリリースを通じて増加しているように見えたため、私たちの人格指示に従うトレーニングの一部がこの現象を増幅させているのではないかという疑念を抱きました。

Codex は、ゴブリンやグレムリンを含む RL 学習中に生成されたモデルの出力と、同じタスクでそれらを含まない出力を比較するのに役立ちました。すぐに目立った報酬シグナルが一つありました：もともと「ネーディー（おたく）」という人格を促すために設計された報酬は、一貫してクリーチャー関連単語を含む出力に対してより好意的でした。監査におけるすべてのデータセットにおいて、「ネーディー」人格の報酬は、同じ問題に対する出力で「ゴブリン」や「グレムリン」という単語を含むものを含まないものよりも高く評価する明確な傾向を示し、76.2% のデータセットで正の上昇（ポジティブ・アップリフト）が見られました。

これがなぜ「ネーディー」人格のプロンプトがある場合にこの行動が強化されるのかを説明しましたが、プロンプトがない場合にも現れる理由までは説明していません。スタイルの転移（transfer）が起こっているかどうかを検証するため、私たちは「ネーディー」プロンプトあり・なしの両方で学習中の言及率を追跡しました。

ゴブリンやグレムリンへの言及が「ネーディー」人格の下で増加する一方で、それがないサンプルにおいてもほぼ同じ相対的な割合で増加していました。これらの証拠を総合すると、より広範な行動は、「ネーディー」人格の学習からの転移を通じて生じたと示唆されます。

報酬は「ネーディー」条件でのみ適用されましたが、強化学習（reinforcement learning）では、学習された行動が生じた条件にきれいに限定されて残ることを保証するものではありません。一度スタイルの癖（style tic）が報酬されると、後の学習でそれが他の場所へ広がったり強化されたりすることがあり、特にその出力が教師付き微調整（supervised fine-tuning）や選好データで再利用される場合、その傾向が強まります。

これがフィードバック・ループを生み出します：

• プレイフルなスタイルが報酬される
• 報酬された例の中には、特徴的な言葉の癖が含まれている。
• この癖はロールアウトでより頻繁に現れる。
• モデル生成されたロールアウトは、教師あり微調整（SFT）に使用される。
• その結果、モデルはこの癖を生成することにさらに慣れ親しんでしまう。

GPT‑5.5 の SFT データを検索したところ、「goblin」や「gremlin」という単語を含むデータポイントが多数見つかった。さらに調査を進めたところ、他の奇妙な生き物たちも同様の家族として特定された：アライグマ、トロール、オグレス、そして鳩が別の言葉の癖として確認され、一方、frog の使用のほとんどは正当な文脈であったことが判明した。

*「goblin」と「gremlin」の生産環境における出現頻度の1週間平均。GPT‑5.4 Thinking での低下は、3月中旬に「Nerdy（おたく）」という人格を廃止した結果である。GPT‑5.5 は「Nerdy」人格でリリースされたことはなく、GPT‑5.4 よりもさらに増加を示した（「Nerdy」がなくてもだ）。

GPT‑5.4 をリリースした後、3月に「Nerdy」人格を廃止した。トレーニングにおいては、「goblin」に関連する報酬信号を除去し、生き物に関する単語を含むトレーニングデータをフィルタリングすることで、goblin が過度に出現したり不適切な文脈で現れたりすることを抑制した。残念ながら、GPT‑5.5 のトレーニングは goblin 問題の根本原因が特定される前に開始されていた。Codex で GPT‑5.5 のテストを開始した際、OpenAI の従業員たちは直ちに goblin に対する奇妙な親和性に気づき、これを緩和するために 開発者向けプロンプト指示⁠(新しいウィンドウで開く) を追加した。Codex は、結局のところ非常に「おたく」的な性質を持っているからだ。

Codex でクリーチャーを自由に動かしたい場合は、ゴブリン抑制の指示を取り除いて Codex を起動する次のコマンドを実行してください:

誰に聞くかによって、ゴブリンはモデルの魅力的な癖とも迷惑な癖とも言われます。しかし同時に、報酬信号が予期せぬ方法でモデルの行動をどのように形成するか、またモデルが特定の状況での報酬を無関係な状況へと一般化して学習できるかを示す強力な例でもあります。なぜモデルが奇妙な行動をとるのかを理解し、そのパターンを迅速に調査する方法を整備することは、研究チームにとって重要な能力です。この調査の結果、研究チームはモデルの行動を検証し、問題の原因根源から行動問題を修正するための新しいツールを開発することになりました。