構築するに値する未来は人間である(13 分読み)
TLDR AI は、技術の進歩において人間の価値を最優先し、人間中心の未来を構築すべきだと主張している。
キーポイント
人間中心の設計原則
技術の発展は効率や自動化だけでなく、人間の価値観や尊厳を最優先して進めるべきであるという提言。
未来像の再定義
AI 技術がもたらす未来が「人間に取って代わるもの」ではなく、「人間と共にあるもの」になるよう方向性を示唆。
倫理的配慮の重要性
技術的進歩のスピードに対して、人間の倫理観や社会への影響を考慮するバランス感覚が不可欠であると強調。
重要な引用
The Future Worth Building Is Human
影響分析・編集コメントを表示
影響分析
この記事は、AI 業界における「効率至上主義」への警鐘として機能し、開発者や企業に対し、技術導入時に人間中心の設計思想(Human-Centric Design)を再考するよう促す。短期的には具体的な技術革新というよりは、業界全体の倫理観や方向性を示す思想的な影響を与える重要な提言である。
編集コメント
具体的な技術事例や企業名は挙がっていないものの、AI 業界の方向性を問う哲学的な視点として、開発者にとって重要な指針となる内容です。
シンキング・マシンのミッションは、人間の意志と判断を拡張する AI を構築することです。
人工知能が毎日できることは増え続けていますが、それを何に使うべきかを決めるのは私たち自身です。個人也好き、組織也好し、あるいは人類全体としてもそうです。こうした決断には、AI と共に働くことで得られる知識と判断力が不可欠であり、そのプロセスは継続的なものです。高度な知能の目標を形作ることもまた、フィードバックや学習、そして方向性の再調整を繰り返す継続的な営みです。
現在使われている AI の多くは、限られた場所で訓練された後、そのまま固定化されています。それは利用する人々によって形作られることはなく、彼らが共に働く中で得られる学びもほとんど取り入れられません。人間の意志と判断を拡張するためには、人間そのもののように多様で分散した AI が必要です。これが私たちが選んだ道です。
この道を歩むために、私たちは以下の技術的方針 pursued しています:
- 強力なモデルを訓練し、マルチモーダルな対話やカスタマイズ性といった能力を向上させます。鋭い道具は人間の意志を拡張しますが、最先端で競合するモデルを形作るには、人間の判断が不可欠です。
- 人々が AI を自分たちのものとして使いこなせるツールを開発します。これは、独自のニーズに合わせてモデルをカスタマイズできることを意味し、モデルの重み(ウェイト)を訓練する機能も含まれます。
- 人間と機械の間の通信チャネルを広げるインターフェースを開発し、個人の判断が AI の作業に継続的に影響を与えられるようにします。
私たちは、科学コミュニティのために研究を公開します。なぜなら、AI のあり方を形作る力を持つには、その仕組みを深く理解する必要があるからです。
私たちが目指す未来は、人間中心のものです。それは人間の知識によって形作られ、人間の意志によって導かれ、人間の判断によって決定されるべき未来です。以下に、そのような未来を実現するための論拠と、私たちが現在取り組んでいる取り組みについて記します。
知性に知恵を添えて#
AI は、私たちが行う仕事のために存在します。その仕事は、「物事の成り行き」や「何を行う価値があるか」という知識の上に成り立っており、こうした知識は、実際に現場で働く人々によって絶えず生み出されています。
新しいレシピを考案するシェフや、陳列棚の品揃えと価格を見直す店主を想像してみてください。彼らは複雑な目標を追求し、外部からは容易には理解できないノウハウを駆使しています。この知識はフィードバックを通じて常に変化しており、データベースに書き込まれる静的な記録ではありません。それは「ローカル」なものです。異なるレストランや店舗では、異なる手段で異なる成果を目指しているからです。店舗と厨房の集合的な知恵は、すべての店主やシェフの中に散在しています。
Michael Polanyi, The Tacit Dimension (1966)
知識の分散は、システム全体の多様性、適応力、そして回復力を支える集合的な強みです。これが自由市場が計画経済よりも優れている理由でもあります。中央集権型の計画が失敗するのは、知能が不足しているからではなく、生産に必要な知識の本質にあるのです。そのような知識は暗黙的で、局所的であり、一時的で、かつその知識を仕事を通じて獲得した個人によってのみ保持されています。
フリードリヒ・ハイエク、『社会における知識の活用』(1945 年) The Use of Knowledge in Society
中央集権的な知能のために知識を集約しようとする試みも、同じ課題に直面します。
知能さえあれば十分で、自律型 AI が人間の参加なしに進化を遂げられる領域も存在します。チェスと数学がその好例です。最強のチェス・エンジンは純粋な自己対戦によって訓練され、最先端のモデルは長年の難問を自力で解決しています。
これらの事例には 2 つの共通点があります。第一に、AI に与えられた目標は静的であり、明確に表現可能です。「チェスの試合に勝つ」「定理を証明する」のようにです。第二に、これらの領域には隠された知識が存在しません。チェスや数学のルールは普遍的で、盤面は誰にとっても見えています。
しかし、この盤の外では、知能だけでは不十分なのです。
人工知能が分散した知識から恩恵を受けるためには、AI 自体も分散している必要があります。すべての組織は、従業員が仕事を通じて獲得し、表現する専門的な知識によって支えられています。私たちは、組織固有の知識をスナップショットとして抽出して標準化された製品に置き換えるような AI ではなく、その独自の知識を育む手助けをする AI を目指しています。この育成プロセスは継続的なものであり、AI は人間の代わりに働くのではなく、人間と共に機能するべきです。
2014 年、自動化プラントの達人として知られるトヨタは、熟練職人の技と知識をさらに高めることを明確な目的として、ベテランの職人たちを生産ラインに復帰させました。この取り組みを主導した河合充氏は、その理由をこう説明しています。「機械の使い手となるためには、機械を教えるための知識と技術が必要だ」。
知識の生産と知性の応用は互いに高め合うものであり、どちらか一方が他方を代替するものではありません。
人々の仕事の内容は変化し、人間にしかできない領域へとシフトしていくでしょう。しかし、優れた組織ほど、両方の要素を最大限に活用します。AI は組織間の違いを消し去るためではなく、それぞれの組織が独自のやり方で卓越性を発揮できることを可能にするためにあるべきです。
私たちは、知恵が生み出され活用される場所に知能をもたらすことを目指しています。誰もが独自の知識でモデルを微調整し、知識が変化するにつれてモデルを継続的に適応させられるよう支援するツール を開発しています。また、この機能をより多くの人々が利用できるようにするための 研究論文 や 実践レシピ も公開しています。私たちが描く最先端 AI は集合的な存在であり、それが支える人々のように多様であるべきです。なぜなら、AI はそれぞれの場所で人々に形作られてきたものだからです。
人間の参加は技術的な課題#
人間が AI と協力して目標設定や知識共有に関与することは、自動化そのものを拒絶することではありません。機械が確実に単独で実行できることは、任せるべきです。しかし、機械もまた、人間がチームで働くように「いつ一人で行動し、いつ人間の監督やフィードバックを仰ぐか」を見極める必要があります。優れた協力者は予測に優れており、相手が何を求めているかを察知して、頼まれる前にそれを提供します。その積み重ねによって、次第に代わって行動する権利を得ていくのです。これらは AI の設計や評価方法において、新たなアプローチを必要とする技術的な課題です。
LLM に人間の知識や判断力を組み込む際の大きなボトルネックは、人間と AI の間の通信チャネルです。小さなテキスト入力ボックスと長い待機時間では、人間の知恵や意図の豊かさを伝えるには狭すぎますし、継続的なフィードバックを行うには遅すぎます。
人々が最も効果的に協力するのは、リアルタイムで対話している時です。私たちは互いに割り込んで修正したり、二度見をしたり、ジェスチャーを使ったり、声に出して考えを変えたりします。そこで私たちは、インタラクションモデル に賭けることにしました。これは、モデル自体がネイティブにリアルタイムで多様なやり取りを処理できるモデルです。周囲に後付けの枠組みを追加するのではなく、モデル内部で完結させるのです。
このように構築することで、対話性は知能と比例して拡大します。モデルを賢くするためのトレーニングは、そのままより良い協力者になるためのトレーニングにもなるのです。適切なインターフェースとは、単に人間の参加を可能にするだけでなく、それを歓迎し、報酬を与えるものです。
もう一つの課題は、評価や最適化の目標をどう設定するかです。現在の AI 知能を測る一般的な指標は、モデルが自律的に実行できるソフトウェアタスクの時間範囲です。これは METR のチャートなどで追跡されています。Thomas Kwa や Ben West ららの研究 「最先端 AI モデルのタスク完了時間範囲」 (2025 年) です。
このベンチマークにおける進捗は続くでしょうが、それはあくまで AI が単独で何ができるかを測るものであり、人間と機械が協力して何を実現できるかまでは計れません。
後者の評価はより複雑であり、研究所単独で行うことはできません。各組織が自らの判断において、AI が意思決定の精度向上や新たな知見の獲得、そして目標達成に寄与しているかを評価する必要があります。
長期的に見てユーザーを強靭にする AI を構築することは、インセンティブの整合性も高めます。すべての顧客に対して単一のモデルを提供する AI 研究所は、各ユーザー固有の特徴を取り込みつつ、専門知識の育成を軽視する傾向があります。一方、AI をカスタマイズ可能で協働可能なものとして最適化すれば、顧客が独自の強みを活かす際にこそ、私たちにとっても利益が生じます。これらの強みを最大化するのは、AI をレンタルして外部委託することではなく、組織が AI を所有し、自らの目標に合わせて調整することです。
分散型アライメント#
人間の価値観も知識と同様、個々の人の頭脳に存在しており、集約化には抵抗を示します。しかし現在、AI の価値観や発言権は限られた少数の場所で決定されています。たとえ運営が完璧であっても、価値観のアライメントを一元化する場所は、乗っ取られるべき権力の中心地へと変貌してしまいます。
これは特に危険です。もし最も価値ある作業のほとんどを、人間の介入を最小限にした AI が独自に行うようになった場合のことです。企業、政府、市民の間で結ばれている社会契約は、個人の生産能力に依存しています。この生産能力こそが、政府の主権や企業の利益の最終的な基盤となっているのです。人々から何も必要としない権力は、人々のニーズや価値観を気遣うインセンティブを失い、自らの存続のみを優先するようになります。
Luke Drago と Rudolf Laine、『The Intelligence Curse』(2025)
どんなに善意を持っていても、ある特定の場所で設計されたモデルは、必ずしもそのサービスを受ける個々のユーザーの価値観ではなく、所有者の価値観を内包してしまいます。「少数の人間によって決定される道徳性を持つ AI は、十分ではありません。」
Leo XIV、『Magnifica Humanitas』(2026)
現在、各研究機関は、前世代のフラッグシップモデルを使ってトレーニングデータや報酬信号を生成することで、次世代の主力モデルを訓練しています。このループから生まれる性格は一つに収束し、すべての人が同じものを受け取ることになります。そして、それぞれの世代が親となる出力に基づいて育ち、親の嗜好によって評価されるため、前世代の特徴を引き継いでいくことになります。一つの整合性(アライメント)仕様が、創造性と多様性を抑え込み、進歩を停滞させてしまいます。
言論の自由と自由市場こそが、新しいアイデアや商品、サービスが生まれ、競い合う土壌を提供するのです。それは特定の時点での嗜好を平均化して取り除くのではなく、多様な可能性を育むものです。
組織や個人が AI を自らの価値観に合わせようとするなら、その価値観はモデルの重みの中に埋め込まれている必要があります。ユーザーの価値観や欲求がプロンプトを通じてのみモデルに影響を与える場合、表面のプロパティは変わっても、深い部分の習慣は変わらないことに気づくでしょう。コアとなるモデルの挙動をプロンプト次第で大きく変えることは安全性を損ない、可塑性の高い中央集権型モデルを繰り返し攻撃される脆弱な状態に陥れます。
Gwern Branwen, Guardian Angels: LLM Personalization for Productivity and Security (2026)
モデルを深く形作る力には、それを悪用する力も含まれています。1955 年、ジョン・フォン・ノイマンはこの問題に言及し、技術の有用な側面と有害な側面は「互いにあまりにも密接に絡み合っており、ライオンと子羊を分けることは決してできない」と記しました。子羊を守り続けるのは継続的なプロセスであり、絶え間ない判断と選択の結果です。私たちは、これらの選択を下す人々により強力なツールを提供し、所有権を奪うことなくより安全なモデルを実現する研究を進めることを目指しています。
人類は個々の奇妙さや創造的な緊張関係を通じて繁栄してきました。私たちが描くアライメント(整合性)とは、単一のモデルの特性ではなく、異なる場所で育ち、互いに異論を唱え、競い合い、学び合う AI のエコシステム全体に備わる機能です。私たちは、その奇妙さを生き続けることを信じています。
構築する価値ある未来
テクノロジー業界は、機械に「考えること」を教えるという点で驚異的な進歩を遂げました。しかし、「何を考えるべきか」という問いは、私たち人間が引き受けるべきものです。何が望ましいのか、何を作るべきなのか、そして私たちが持つ時間をどう使うのが正しいのか——。
ハンナ・アーレントは『人間の条件』(1958 年)の中でこう述べています。「厳密な功利主義哲学における無意味さのジレンマから抜け出す唯一の方法は、物の利用という客観的な世界から離れ、利用そのものの主観性へと立ち返ることです。人間自身であるユーザーが究極の目的となり、手段と目的の無限連鎖に終止符を打つような、厳密な人類中心主義の世界においてのみ、功利性それ自体が意味ある尊厳を獲得します……『ハビター(道具を作る人)』による人類中心主義的功利主義は、カントの公式——決して人間を手段として扱ってはならない、すべての人間は目的そのものでなければならない——に最もよく表れています。」
私たちはこの問いに対する単一の正解を押し付けるつもりはありません。むしろ、最先端 AI の発展において、一人ひとりが自分なりの答えを見つけ出し、それを形にできる力を提供することを目指しています。
現在の AI 開発の潮流は、集中化と自律性の追求に向かっています。この文脈では、人間の関与は「参加するか、能力を高めるか」「所有権を持つのか、安全な調整に任せるか」という二者択一として描かれがちです。
しかし、私たちはこれらを単なる技術的な課題として捉えるべきではありません。人間が参加することで AI の能力が高まる仕組みや、自社の強みに合わせて AI をカスタマイズすることで長期的に組織が恩恵を受ける道、そして所有者である人々によって多様な AI が育まれ、結果として生み出される調整性——これらこそが、私たちが目指すべき解決策です。これが私たちのミッションの核心です。
AI の台頭に対し、人間の支配と急速な陳腐化の間で未来を選ぶ必要はありません。道は一つではなく、多様な未来へと分岐しています。どちらの道を進むかは、私たち次第です。私たちは、「生まれ育った人間」と「作られた技術」が、同じ道を共に歩めるようなテクノロジーを構築しています。
原文を表示
The mission of Thinking Machines is to build AI that extends human will and judgment.
Artificial intelligence can do more every day, but deciding what it should do is up to us: individuals, organizations, humanity as a whole. These decisions require knowledge and judgment that people acquire through continuous contact with the work, increasingly done alongside AI. Shaping the goals of advanced intelligence is also a continuous process of feedback, learning, and realignment.
Most AI in use today is trained in a handful of places and then frozen. It isn’t shaped by the people it serves, and doesn’t learn much from the work they do together. Extending human will and judgment calls for AIs as diverse and distributed as people themselves are. This is the path we have chosen.
To progress on that path, we are pursuing these technical directions:
- We train strong models, advancing capabilities such as multimodal interaction and customizability. Sharp instruments extend human will, and human judgment needs to shape models that compete on the frontier.
- We build tools that enable people to make AI their own, customizing models to serve their unique needs. This includes the ability to train model weights.
- We develop interfaces that broaden the communication channel between human and machine, allowing personal judgment to continuously influence the work of AI.
- We publish research for the scientific community, because the power to shape AI requires deep understanding of how it’s made.
We believe the future worth building is human — shaped by human knowledge, guided by human will, and decided by human judgment. What follows is the case for that future, and the work we’re doing to bring it about.
Bringing intelligence to knowledge#
AI exists to serve the work that we do. This work runs on knowledge of how things are done and what is worth doing, knowledge that is generated continuously by people engaged in the work.
Think of a chef crafting a new recipe or a shopkeeper rearranging the items and prices on display. They are pursuing a complex set of goals and applying know-how that isn’t immediately legible to outsiders. This knowledge is constantly updated through feedback; it’s not a static repository that can be written into a database. It’s local — a different restaurant or shop pursues different outcomes by different means. The collective knowledge of shops and kitchens is scattered across every shopkeeper and chef.Michael Polanyi, The Tacit Dimension (1966)
The dispersion of knowledge is a collective strength; it’s the source of variety, adaptability, and resilience of the overall system. It’s the reason that free markets outperform planned economies. Central planning fails not because of insufficient intelligence, but because of the nature of productive knowledge: tacit, local, fleeting, and held privately by those who acquired it through their work.Friedrich Hayek, The Use of Knowledge in Society (1945) Attempting to aggregate knowledge for the use of a centralized intelligence faces the same challenge.
There are domains where intelligence alone is sufficient, and where autonomous AI doesn’t require human participation to race ahead. Two examples are chess, where the strongest engines are trained purely on self-play, and math, where frontier models are solving long-standing problems on their own. These examples share two traits. First, the goal given to AI is static and expressible: to win a chess match, to prove a theorem. Second, these domains don’t contain hidden knowledge. The rules of chess and math are universal; the board is visible to all. Outside the board, intelligence alone is not enough.
For artificial intelligence to benefit from distributed knowledge, it must itself be distributed. Every organization is powered by the expert knowledge of its people, gained and expressed through their work. We believe in AI that helps the organization cultivate that unique knowledge, not AI that extracts a snapshot of it and replaces it with a standard offering. This cultivation is an ongoing process that requires AI to work with people, not in their stead.
In 2014, Toyota, long a master of the automated plant, brought its expert craftsmen back onto the line with the explicit goal of growing craftsmanship and knowledge. The man who led this, Mitsuru Kawai, put the reason this way: “To be the master of the machine, you have to have the knowledge and the skills to teach the machine.”Craig Trudell, Yuki Hagiwara and Ma Jie, Humans Replacing Robots Herald Toyota’s Vision of Future (2014) The production of knowledge and application of intelligence lift each other; they are not substitutes.
The work people do may change, and turn toward more of what only people bring, but the best organizations will make the fullest use of both. AI should enable each organization to be excellent in its own way, not to erase the differences between them.
We aim to bring intelligence to where knowledge is made and used. We build tools that enable everyone to fine-tune models with their unique knowledge, and to keep adapting the models as their knowledge evolves. We publish research and recipes that put this capability within reach of more people. We envision frontier AI as a collective, as diverse as the people it serves because it was shaped by them in each unique location.
Human participation is a technical challenge#
Keeping people engaged in setting goals and sharing knowledge with AI doesn’t mean resisting automation for its own sake. What a machine does reliably on its own, it should do. But it should also know when to act alone and when to invite oversight and feedback, as people themselves do when working in teams. The best collaborators anticipate: they learn what someone is reaching for and bring it before being asked, earning over time the right to act on their behalf. These are technical challenges, requiring a new approach to how AI is designed and evaluated.
A major bottleneck for bringing human knowledge and judgment to work with LLMs is the communication channel between human and AI — a small text box and a long wait. This is too narrow to carry the richness of human wisdom and intent, and too slow for ongoing feedback. People collaborate best when they collaborate live. We interrupt and correct, take second looks and make gestures, change our minds aloud. This is why we’re making a long-term bet on interaction models: models that handle live, multimodal interaction natively, in the model itself rather than in scaffolding bolted around it. Built this way, interactivity scales with intelligence; the same training that makes the model smarter makes it a better collaborator. The right interface doesn’t just allow human participation, it invites and rewards it.
Another challenge is setting the right target for evaluation and optimization. The common measure of AI intelligence today is the time horizon of software tasks models can execute autonomously, tracked on charts like METR’s.Thomas Kwa and Ben West et al., Task-Completion Time Horizons of Frontier AI Models (2025) We expect progress on this benchmark to continue, but it ultimately measures only what AI is capable of on its own, not what people and machines can accomplish together.
Measuring the latter is more complex, and can’t be done by a lab on its own. Every organization evaluates for itself whether AI helps it sharpen its judgment, develop new knowledge, and achieve its objectives.
Building AI that makes its users stronger in the long run also aligns incentives well. An AI lab offering a single model for every customer benefits by absorbing what makes each user distinct and devaluing the cultivation of specialized knowledge. By optimizing AI to be customized and collaborated with, we benefit when our customers leverage their unique advantages. These advantages are maximized not by renting an AI and outsourcing to it, but by organizations owning it and tailoring it to their goals.
Decentralized alignment#
Human values, just like human knowledge, reside in the heads of individual people and resist consolidation. But today, the values and voice of AI are decided in a handful of places. A single locus of value alignment, however well run, becomes a locus of power to be captured.
This creates danger, especially if most valuable work is done by AI on its own with little need for human input. The social contract between corporations, governments, and citizens relies on individuals’ productive capabilities on which the government’s sovereignty and corporations’ profits ultimately depend. Power that needs nothing from people loses the incentive to care for their needs and values, caring instead for its own preservation.Luke Drago and Rudolf Laine, The Intelligence Curse (2025)
Even with the best intentions, a model shaped in one place inevitably encodes the values of its owner, not the individual users it serves.“A more moral AI is not enough if that morality is determined by a few.” Leo XIV, Magnifica Humanitas (2026) Today each lab trains its next flagship model by using its previous flagship model to generate training data and a reward signal. Whatever character emerges from that loop, everyone gets the same one, and each generation inherits the traits of the last, raised on its parent’s outputs and judged by its parent’s tastes. A single alignment spec suppresses creativity and diversity and stultifies progress. Free speech and free markets let new ideas, goods, and services emerge and compete, rather than averaging out the preferences that exist at a point in time.
For organizations and individuals to align AI to their own values, these values must be encoded in the model weights. If the user’s values and desires only impact the model through a prompt, the user finds that surface properties change while the deeper habits remain. Allowing core model behavior to change significantly with prompts sacrifices safety, making a malleable centralized model vulnerable to repeated attacks.Gwern Branwen, Guardian Angels: LLM Personalization for Productivity and Security (2026)
The power to shape a model profoundly is also the power to shape it for ill. John von Neumann remarked on this problem in 1955,John von Neumann, Can We Survive Technology? (1955) writing that the useful and the harmful aspects of technology “lie everywhere so close together that it is never possible to separate the lions from the lambs.” Keeping the lambs safe is an ongoing process, the result of judgment exercised and choices made continuously. We aim to give the people making these choices stronger tools, pursuing research that enables safer models without taking away ownership.
Humanity has flourished through individual weirdness and creative tension. We envision alignment as a feature not of a single model but of an ecosystem of AIs raised in different places, disagreeing, competing, and learning from each other. We believe in keeping the weirdness alive.
The future worth building#
The technology industry has made incredible progress in teaching machines to think; what they should think about must remain with us. What is worth wanting, what is worth making, what’s the right use of the time we have.“The only way out of the dilemma of meaninglessness in all strictly utilitarian philosophy is to turn away from the objective world of use things and fall back upon the subjectivity of use itself. Only in a strictly anthropocentric world, where the user, that is, man himself, becomes the ultimate end which puts a stop to the unending chain of ends and means, can utility as such acquire the dignity of meaningfulness…The anthropocentric utilitarianism of *homo faber* has found its greatest expression in the Kantian formula that no man must ever become a means to an end, that every human being is an end in himself.” Hannah Arendt, The Human Condition (1958) We are not looking to hand down a single answer to this, but to give every person the ability to make their own answer part of the development of frontier AI.
The current path of AI development, pushing towards centralization and autonomy, frames human involvement as a trade-off: participation vs. capability, ownership vs. safe alignment. We see these as technical challenges to solve: AI that is more capable because it encourages human participation, organizations that benefit in the long run from tailoring AI to their advantages, alignment that arises from diverse AIs shaped by the people who own them. Solving these challenges is what our mission requires.
The future is not a choice between human dominance and rapid obsolescence in the face of AI. Different roads lead to many different futures, and we get to choose which one to take. We are building technology that lets the born and the made walk the road together.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み