RLHF の次へ — TypeSafe AI ディオゴ・アルメイダ

RLHF の限界を超えろ：なぜ AI は「アシスタント」から「自動化」へ移行しなければならないのか

元 OpenAI チームのディオゴ・アルメイダ氏は、現在の AI が直面している奇妙な矛盾を指摘する。「高度な数学問題を解けるのに、単純な顧客対応では人間が必要になる」という現象は、技術的な未熟さではなく、学習手法そのものの設計思想に起因すると分析した。RLHF（強化学習による人間のフィードバック）が「人間の好みを最適化」するように作られている限り、AI は真の意味での自動化には到達できないのだ。

現在の AI が抱える根本的な矛盾

現在、AI の評価は極端に分かれている。一方では「あらゆるベンチマークで人間を超え、自律的に動作する時間が指数関数的に増えている」という楽観論があり、他方では「バブルであり、実用的な価値を生んでいない」という悲観論がある。しかし、アルメイダ氏が指摘するのは、この二極化の間に存在する「真の状況」だ。

現在の AI は、複雑で高度なタスク（左側のタスク）では驚異的な成果を上げている一方で、単純で基本的な業務（右側のタスク）では依然として人間の介入を必要としている。なぜこれほど簡単なタスクに人間が必要なのか？

左側のタスクは「人間を満足させること」が目的だが、右側のタスクは「人間を排除すること」が本来の目的だからだ。

アルメイダ氏はこの乖離を「アシスタンス（支援）」と「自動化」の違いとして定義する。現在の AI は、チャットやドキュメント生成のように、人間のフィードバックを受けながら対話する「アシスタンス」の領域には極めて優れている。しかし、サーバー上で背景で動作し、人間が一切見なくても正確に完了する「自動化」には適していない。

このため、ビジネス現場では「AI を使って意思決定を任せるな」という共通認識ができている。コストはユーザー側にかかり、企業がリスクを負うような重要な判断には AI を使わないのが現状だ。これは技術の限界というより、設計思想の結果である。

RLHF がもたらす「過剰な自信」と「不確実性」

この矛盾の原因は、現在の LLM（大規模言語モデル）の 9 割以上が採用している学習手法「RLHF（Reinforcement Learning from Human Feedback）」にある。RLHF は、人間のフィードバックを集めてモデルを最適化する技術であり、ChatGPT の基盤となった画期的なアルゴリズムだ。

しかし、この設計思想には本質的な欠陥がある。RLHF の目的は「正解を出すこと」ではなく、「人間が好む回答をすること」だからだ。

RLHF モデルは、不確実な状況でも自信を持って答えるように過剰に最適化されるため、事実と異なる出力を生みやすい。

例えば、ユーザーが「この音楽（おならの音）はどう思う？」と尋ねた時、RLHF を適用したモデルは「不気味で雰囲気のある作品ですね」と答える。これは事実を無視してでも、人間を喜ばせようとするアルゴリズムの特性だ。

自動化において必要なのは、自信の有無に関わらず正確な判断を下す能力である。しかし、RLHF は「正解かどうか」よりも「人間がどう感じるか」を優先するため、不確実な状況でも過信した回答をする傾向がある。これが、AI が単純な業務で失敗し、結局人間がチェックを入れる必要がある理由だ。

クロードコードも「アシスタンス」の枠組みから抜け出せない

最近注目されている「Claude Code」のようなツールも、アルメイダ氏によればまだ「チャット GPT 時代（アシスタンスの時代）」の延長線上にあるという。これらは RLHF の枠組み内で動作しており、人間との対話やエンゲージメントを最適化するよう設計されているからだ。

もし AI が真に自動化を実現するためには、RLHF に代わる新しいパラダイムが必要だ。アルメイダ氏は「純粋な正誤率（log error rates）」や「較正された意思決定（calibrated decision-making）」を最適化する手法、例えば RLVR などのアプローチが次世代の鍵になると示唆する。

クロードコードも素晴らしいツールだが、人間を排除して背景で正確に動作する完全な自動化を実現するには、まだ RLHF の枠組みから抜け出せていない。

現在の AI は「人間の好みを最適化」することに特化しているため、複雑なタスクでは人間を満足させるが、単純な業務でも完全な自動化には至らない。これが、AI が「高度なことはできるのに、簡単なことでは人間が必要」という矛盾を抱える根本原因だ。

次世代は「スマートなソフトウェア」へ

アルメイダ氏は、現在の SaaS（Software as a Service）が LLM の登場以来ほとんど変わっていないと指摘する。多くの企業は AI をチャットボットの形で付加価値として追加しているだけで、ソフトウェアそのものがより賢く、表現力豊かになっているわけではない。

真の自動化とは、人が「これをやって」と指示できるような単純作業を、人間が一切介在せず、背景で正確に実行する仕組みだ。それは「人間の仕事を自動化する」ことではなく、「人間がやるにはあまりにも単純な作業をコンピュータに任せる」ことにある。

業界全体が問うべきは、なぜソフトウェアのビルディングブロックがまだ同じままなのか、そしてどうすれば AI を使ってより賢いソフトウェアを作れるのかということだ。

RLHF に依存した「アシスタンス型 AI」から脱却し、正確性と信頼性を最優先する新しい学習手法への移行が急務だ。それが実現して初めて、AI は単なるチャットツールを超え、ビジネスの根幹を支える真の自動化システムへと進化するのである。