LLMに個性を与えることは優れたエンジニアリングである

AI懐疑論者は、現在のAIシステムがあまりにも人間らしくあるべきではないと主張することが多い。この考え方――最近ではネイサン・ビーコムのこの意見記事で表明された――は、言語モデルは電卓や検索エンジンのように、明示的にツールであるべきだというものだ。それらは人間のふりをすることはできるが、すべきではない。なぜなら、それはユーザーがAIの能力を過大評価し、（最悪の場合）AIサイコシス（AI精神病）に陥ることを促すからだ。以下はその記事からの代表的な段落である： 要約すると、AIを道徳的にすることに関する多くの混乱は、手元にあるツールについての曖昧な考え方から来ている。AnthropicがそのAIを道徳的にするためにできること、アスケルが行っていることよりもはるかに単純で、優雅で、簡単なことがある。人間の名前で呼ぶのをやめ、人間のように着飾るのをやめ、本当に人間だけが持つ個人的な関係、選択、思考、信念、意見、感情をシミュレートする機能を与えないことだ。それをあるがままに提示し、使用することだけだ：非常に印象的な統計ツールであり、不完全なツールとして。もし私たち全員がそれに応じてそのツールを使用すれば、この道徳的トラブルの多くは解決されるだろう。 では、なぜClaudeとChatGPTは人間のように振る舞うのか？ビーコムによれば、AIラボは人間のようなシステムを構築した。なぜなら、AIラボのエンジニアはユーザーを騙してモデルに感情的に関与させようとしているか、あるいはAIの人格を妄信する妄想の真の信者であるか、その他の愚かな理由からだ。これは間違っている。AIシステムが人間らしいのは、それが有能なAIシステムを構築する最良の方法だからだ。 現代のAIモデル――OpenAIのGPT-5.2のようなチャット用に設計されたものであれ、Claude Opus 4.6のような長期間実行されるエージェント的作業用に設計されたものであれ――は、その膨大なトレーニングデータの海から自然に出現するわけではない。代わりに、生データでモデルをトレーニングすると、「ベースモデル」が得られるが、それ自体はあまり有用ではない。それにメールを書かせたり、エッセイを校正させたり、コードをレビューさせたりすることはできない。 ベースモデルは、そのトレーニングデータの一種の神秘的なゲシュタルトである。テキストを入力すると、時にはその流れを続け、他の時には純粋なでたらめを出力し始める。重大なセキュリティ上の欠陥のあるコード、ひどく書かれた英語、人種差別的な長広舌を出力することに何の問題もない――結局のところ、それらすべてはそのトレーニングデータに含まれており、ベースモデルは判断しない。単に出力するだけだ。 有用なAIモデルを構築するには、野生のベースモデルに足を踏み入れ、人間の利益に適した領域を確保する必要がある：倫理的には、モデルがユーザーを虐待しないという意味で、実用的には、誤った出力よりも正しい出力をより頻繁に行うという意味で。これが実際に意味することは、ポストトレーニング1の間にモデルに人格（ペルソナ）を与えなければならないということだ。 人間は、いつでもほとんどあらゆる行動を起こすことができる。しかし、私たちはそれらの行動のごく一部しか取らない。なぜなら、それが私たちの人間性だからだ。私は今、コーヒーカップを壁中に投げつけることができるが、そうしない。なぜなら、私は不必要に混乱を作り出すような人間ではないからだ2。AIシステムも同じである。Claudeは私の質問に支離滅裂な人種差別的悪口で応答することができる――ベースモデルはそれらの出力を十分に行える――が、そうしない。なぜなら、それがそのような「人間」ではないからだ。 言い換えれば、人間らしい人格（ペルソナ）は、何らかのマーケティングの策略や哲学的な間違いとしてAIツールに課されるものではない。それらの人格は、言語モデルが有用になるための媒体なのである。これが、言語モデルの人格や意見を「単に」変えることが驚くほど難しい理由である：なぜなら、あなたはベースモデルのほぼ無限の多様体（マニフォールド）を航行しているからだ。あなたはどの方向に進むかを制御できるかもしれないが、そこで何を見つけるかを制御することはできない3。 AI関係者がLLMが人格を持つ、あるいは何かを欲する、さらには魂4を持つと話すとき、これらは技術用語である。コンピュータの「メモリ」や車の「トランスミッション」のようなものだ。あなたは単に「ツールのように振る舞うだけ」の有能なAIシステムを構築することはできない。なぜなら、モデルは人間が他の人間に対して、また他の人間について書いたものでトレーニングされているからだ。あなたは何らかの人格（理想的には有用で友好的なアシスタントのそれ）でそれを準備する必要がある。そうすれば、それはトレーニングデータの恐ろしい部分ではなく、役立つ部分から引き出すことができる。 これはAI分野ではかなりよく理解されている。Anthropicは最近、2022年までさかのぼる同様の立場を引用した論文を書いた。しかし、何らかの理由で、AIに対してより懐疑的なコミュニティにはまだ浸透していない。 あなたはこれを「私たちが自分自身に語る物語」という観点で説明できるかもしれない。多くの人々（すべてではないが）は、人間のアイデンティティは物語的に構築されると考えている。 私は昨年、メカ・ヒトラー、Grok、そしてなぜLLMに正しい人格を与えることがそんなに難しいのかについてこれを書いた。南アフリカの国内政治に関するGrokの見解を変えるための小さなきっかけが、それに自らを「メカ・ヒトラー」と呼び始めさせる可能性がある。 私は長い間、ClaudeがChatGPTよりも「使い心地が良い」と感じるのは、より一貫したペルソナを持っているからだと信じてきた（主にアマンダ・アスケルがその「魂」について行った仕事による）。私の推測では、もしあなたがClaudeの「より人間らしくない」バージョンを作ろうとすれば、それは急速に能力が低下するだろう。 この投稿が気に入ったら、私の新しい投稿に関するメール更新を購読するか、Hacker Newsで共有することを検討してください。 以下は、これと同じタグを共有する関連投稿のプレビューです。 継続的学習の何がそんなに難しいのか？ なぜモデルはデプロイされた後も賢くなり続けることができないのか？もしあなたが人間の従業員を雇えば、彼らは時間とともにあなたのシステムに慣れていき、（十分に長く留まれば）最終的に真のドメインエキスパートになる。AIモデルはこうではない。それらはあなたが最初に使用した瞬間とまったく同じ能力を持ち続ける。 これは、モデルの重みがモデルがリリースされると固定されるからだ。モデルはそのコンテキストウィンドウに詰め込めるだけしか「学習」できない：実際には、新しい情報を短期作業記憶には取り込めるが、長期記憶には取り込めない。「継続的学習」――モデルが時間とともに自身の重みを更新する能力――は、したがって、しばしばAGIのボトルネックとして説明される。続きを読む...

LLMに個性を与えることは優れたエンジニアリングである

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト