苦い教訓対ゴミ箱理論

組織に関する私の好きな学術論文の一つに、ルースアン・フイジングによるものがあり、そこでは自社のプロセスマップを作成するよう割り当てられたチームの物語が語られています。このマップは、原材料から完成品に至るまで、組織が実際に何を行っているかを追跡したものです。このマップを作成する過程で、彼らは仕事の多くがいかに奇妙で計画されていないように見えるか realization しました。誰も使用しない成果物を生み出す完全なプロセスや、物事を完了させるための奇妙な準公式の経路、そして繰り返される努力の重複を発見したのです。マップ作成に従事していた多くの従業員は、かつて会社の有望株でしたが、幻滅してしまいました。

プロセスマップ

Huising 教授に、その後に何が起こったのか説明させてください。「一部の人は、トップの誰かがこれらの設計と運用上の問題を知っているのではないかと希望を抱いていましたが、彼らはしばしばこの楽観主義を打ち砕かれました。例えば、あるマネージャーが CEO に地図を示しながら歩き回り、彼にこれまで見たことのない視点を提供し、設計の欠如や戦略と運用との間の断絶を具体的に示しました。地図の説明を受けた後、CEO は座り込み、机に頭を置き、「これは私が想像していたよりもさらにひどい状態だ」と言いました。CEO は明らかに、自らの組織の運営が自分のコントロールを超えているだけでなく、その把握自体が幻想に過ぎないことを告白したのです。

多くの人にとって、これは驚きではないかもしれません。組織（またはそこで働くこと）を研究することで学ぶことのひとつは、すべての組織が実際には少し混乱しているということです。実は、古典的な組織理論の一つに「ガベージ・カンモデル」というものがあります。このモデルでは、組織は問題、解決策、意思決定者が無秩序に投げ込まれる混沌とした「ゴミ箱」のように見なされます。そして、意思決定は完全な合理的プロセスを通じて行われるのではなく、これらの要素が偶然に衝突したときに起こることが多いとされています。もちろん、この見方を極端に受け取ることは容易です。組織には実際に意味を持つ構造や意思決定者、プロセスが存在します。ただ、これらの構造は慎重に設計され詳細に記録されたものではなく、人々の中で進化し、交渉によって形成されてきたものに過ぎないのです。

ガベージ・カン（ゴミ箱）モデルは、暗黙のルールや個別化された知識、複雑で文書化されていないプロセスが重要な役割を果たす世界を象徴しています。この状況こそが、組織における AI 導入を困難にしている要因です。なぜなら、アメリカ人の労働者の 43% が職場で AI を使用した経験があるにもかかわらず、その多くは非公式な方法で、自分自身の業務課題を解決するために利用しているからです。企業全体で AI をスケールさせるのは難しいのです。従来の自動化には明確なルールと定義されたプロセスが必要ですが、ガベージ・カン型の組織はまさにこれらの要素を欠いているからです。AI と仕事に関するより一般的な課題に対処するには、特定のユースケースに特化した AI 活用システムを慎重に構築し、実際の業務プロセスを可視化し、発見された課題を解決するためのツールを開発する必要があります。

これは困難で緩やかなプロセスであり、企業における AI の導入には時間がかかることを示唆しています。少なくとも、AI が私たちが組織を理解するのと同じように理解する必要があると仮定すれば、そう見えるでしょう。しかし、AI 研究者たちは、こうした前提について重要な何かを学んでいます。

The Bitter Lesson

コンピュータサイエンティストのリチャード・サットン氏は、2019 年の影響力ある論文において「苦い教訓（The Bitter Lesson）」という概念を導入し、AI 研究における一つの傾向を指摘しました。チェスで人間に勝つような困難な問題を解決しようとする際、AI 研究者たちは繰り返し、オープニングの手順や局面評価、戦術パターン、終盤データベースの研究といったエレガントな解法に頼ってきました。プログラマは、センターの支配、早期の駒展開、王の安全、通路兵の価値など、何世紀にもわたるチェスの知恵を手作業で設計されたソフトウェアに記述しました。世界最高の人間を破った最初のチェスコンピュータである Deep Blue は、いくつかのチェスの知識を用いていましたが、それを毎秒 2 億局面を検索できる圧倒的な計算力と組み合わせました。2017 年、Google は AlphaZero を発表し、これはチェスだけでなく将棋や囲碁でも人間に勝るものでしたが、これらのゲームに関する事前知識は一切持っていませんでした。代わりに、AI モデルは自分自身と対戦する形で学習し、ゲームをプレイしながらそれを習得しました。チェスのすべてを網羅したエレガントな知識は無意味であり、純粋な計算力の暴力的な適用と、機械学習に対する一般的なアプローチの組み合わせだけで、人間に勝つのに十分だったのです。そしてこれが「苦い教訓」です。人間の理解を AI に記述化することは、AI に問題解決方法を自ら考えさせること、あるいは人間よりも優れた結果を出せるまで十分な計算リソースを追加することよりも、往々にして劣る結果をもたらすのです。

なぜこのグラフには2つのバージョンがあるのか？また、なぜわずかに異なるのか？答えは後ほど！

この教訓が苦いのは、人生の経験から築き上げてきた人間の問題理解が、AI を用いて問題を解決する際にそれほど重要ではないことを意味しているからです。何十年にもわたる研究者による人間のエキスパート知識を慎重にエンコードする作業は、最終的には単に計算リソースを問題に投入するよりも効果的ではありませんでした。私たちはまもなく、「苦い教訓」が労働の世界全体に広く適用されるかどうかを目撃することになるでしょう。

エージェント

個人がチャットボットを利用することから多くの恩恵を得られる一方で、組織内での AI の活用方法に関する興奮の多くは「エージェント」に焦点を当てています。私はこの用語を、目標達成のために自律的な行動を取れる AI システムと定義しています。プロンプトでチャットボットを誘導するのではなく、タスクをエージェントに委任し、それが実行します。しかし、以前の AI システムは組織のあらゆるニーズに対応するには十分ではなく、現実世界にはあまりにも多くの不確実性や混乱が存在します。そのため、1 年前に最初の AI 搭載型教育ゲームを作成した際、狭義のタスクを処理するためにエージェント・システム内の各ステップを慎重に設計する必要がありました。AI の自律作業能力が非常に急速に向上しているとはいえ、最も複雑な業務においては依然として人間レベルには遠く、複雑なタスクでは容易に道に迷ってしまいます。

これは 80% の成功閾値におけるものです

エージェントシステムの最先端の例として、Claude を使用し、AI エージェントが実際に実務を遂行できるようにする一連の巧妙なアプローチを採用している Manus を考えてみましょう。Manus チームは、興味深いエンジニアリングの要素や非常に精巧なプロンプト設計を含む、エージェント構築のための多くのヒントを共有しています。この投稿を書いている際、私は Manus に「現代のチェスコンピュータから 2025 年までの世界最高位のチェスプレイヤーと世界最高のチェスコンピュータの ELO を比較する魅力的なグラフが必要だ」と尋ねました。システムは作業を開始しました。まず Manus は必ずToDo リストを作成し、次にデータを収集して複数のファイルを書き出し、私が求めたいくつかの微調整を経て、最終的に上記左側に表示されているグラフ（グラフの周りに枠がない方）を完成させました。

なぜこれらをこの順序で行ったのでしょうか？それは、Manus が手作業で構築され、利用可能な最高の汎用エージェントとなるよう慎重に設計されたからです。そのシステムプロンプトには数百行の専用テキストが含まれており、ToDo リストの作成方法に関する詳細な指示も含まれています。これは、今日の AI システムとエージェントを連携させるための、苦労して得られた知識を取り入れたものです。

潜在的な問題にお気づきでしょうか？「慎重に作り込まれた」「オーダーメイドの」「苦労して得た知識を組み込んだ」といった表現は、まさに Bitter Lesson が避けるべき作業の典型です。なぜなら、より汎用的な手法によって最終的に無意味なものになってしまうからです。

実は最近、ChatGPT エージェント（不格好な名前ですが、少なくとも明確で、OpenAI にとって大きな前進です！）がリリースされたことで、これが可能であるという証拠が出てきました。ChatGPT エージェントは根本的な転換点を示しています。これは作業のプロセスを学習するのではなく、OpenAI は強化学習を用いて、実際の最終成果物に基づいて AI を訓練しました。例えば、人間のように Excel ファイルを作成する方法を教えるのではなく、作成された Excel ファイルの品質を評価し続けることで、AI が開発したあらゆる手法を使って良いファイルを作れるようになるまで学習させます。

強化学習と慎重な作り込みがどのようにして類似の結果をもたらすかを示すために、私は ChatGPT エージェントに全く同じチェスのプロンプトを与え、上記右側のグラフを得ました。しかし今回は、やるべきリストも従うスクリプトもなく、エージェントは訓練に基づいて私にとって最良の出力を得るために必要な神秘的なコースを自ら描きました。その抜粋が以下にあります：

しかし、外見の違い以外にも、2 つのチャートにはいくつかの違いがあることに気づくかもしれません。例えば、Deep Blue のパフォーマンスに対する評価がそれぞれ異なるのは、Deep Blue の ELO が公式に測定されたことがないためです。Manus の評価は基本的な検索に基づいており、私たちは推測的な Reddit の議論を見つけましたが、Deep Research で使用されている強化学習アプローチでトレーニングされた ChatGPT エージェントは、Atlantic 誌の記事などより信頼性の高いソースを複数見つけ出し、その主張を裏付けました。同様に、両方のエージェントに完全に機能する Excel ファイルを作成してグラフを再現するように依頼した際、ChatGPT のバージョンは正常に動作しましたが、Manus のバージョンにはエラーがありました。

ChatGPT エージェントが Manus より優れているかどうかはまだわかりませんが、競合他社よりもはるかに速く成果を上げられる可能性が高いと私は考えています。Manus を改善するには、より慎重な設計と個別の作業が必要ですが、ChatGPT エージェントを改善するには、単にコンピューターチップを増やし、例を追加するだけで十分です。「苦い教訓（The Bitter Lesson）」が正しければ、長期的な結果は非常に明確に見えます。しかし、さらに重要なのは、手作業で設計されたエージェントと成果学習型エージェントの比較が、組織が AI 導入にどのように取り組むべきかという根本的な問いを投げかけている点です。

ガバジン・カン（Garbage Can）におけるエージェント

これは組織の世界へと私たちを戻します。個人は急速に AI を採用する一方で、企業はまだゴミ箱問題に苦しみ、AI システムを導入する前に数ヶ月をかけて混沌としたプロセスのマッピングを行っています。しかし、それが逆ではないでしょうか？

「苦い教訓」は、企業がどのようにアウトプットを生み出しているかに注目するのをやめ、アウトプットそのものにのみ焦点を当てるようになるかもしれないと示唆しています。良い営業報告書や顧客対話とはどのようなものかを定義し、AI にそれを生成させるように訓練します。AI は組織の混沌の中を独自の道を見つけ出すでしょう；それは人間が進化させた半公式ルートよりも効率的である可能性がありますが、より不透明になるかもしれません。「苦い教訓」が支配する世界では、机に顔をうずめている CEO の絶望は誤ったものです。壊れたプロセスすべてを解きほぐすのではなく、成功の定義を示し、AI に混乱の中を進ませるだけで十分です。実は、「苦い教訓」は甘くなるかもしれません：組織に満ち溢れる文書化されていないワークフローや非公式なネットワークは重要ではないのかもしれません。重要なのは、良いアウトプットを見たときにそれが何であるかを知っていることです。

これが真実であれば、ゴミ箱は残ったままですが、競争優位性そのものが再定義される中で、それを整理する必要はなくなります。企業がプロセスの洗練や組織的知識の構築、運用卓越性を通じた競争上の堀を築くために費やした努力は、彼らが考えているほど重要ではない可能性があります。AI エージェントが出力のみから学習できるのであれば、品質を定義し十分な例を提供できるあらゆる組織が、自らのプロセスを理解しているかどうかに関わらず、同様の結果を達成できるかもしれません。

あるいは、ゴミ箱が勝つのかもしれません。つまり、人間の複雑さやそれら messy かつ進化したプロセスは、AI には理解なしにナビゲートするにはあまりにも複雑であるということです。私たちは組織が本当にどのような種類の問題を抱えているのか、計算規模に対して屈服するチェスゲームなのか、それとも根本的により混沌としたものなのかをもうすぐ知るでしょう。どちらの答えに賭けるかを決めた企業たちはすでに動き始めており、私たちが実際に何というゲームをしているのかをまもなく学ぶことになります。

購読する

共有する