Import AI 469：科学 AI、RSI シミュレータ、ザッカーバーグの技術悲観論
本文の状態
日本語全文を表示中
詳細モードで約16分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Import AI
オックスフォード大学など複数の研究機関が共同で、AI の環境ルール推論能力を評価する新ベンチマーク「DiG-bench」を発表し、現在の最先端モデルでも解決困難なゲームを通じて創造的直観の限界を検証した。
AI深層分析を開く2026年8月18日 00:09
AI深層分析
キーポイント
DiG-bench ベンチマークの概要
70 のゲームから構成される新ベンチマークで、AI が隠されたルールや目的を探索と好奇心を通じて推論する能力を評価する。
研究機関と著者の参加
オックスフォード大学、プリンストン大学、MIT などの主要機関から研究者が参加し、ジュルゲン・シュミットフーバー氏もその一人である。
ゲームの設計特性と難易度
すべてのゲームは人間専門家によって手作業で作成され、AI が事前に学習できないよう非公開に保たれており、現在の最先端モデルでは攻略が困難である。
テキストベースの純粋な評価
ゲームは言語モデルネイティブで設計されており、コンテキストウィンドウ内に収まる短さで構成されているため、テキスト処理能力に焦点を当てた評価が可能である。
DiG-benchにおけるAIの性能と人間の差
最難易度のTier 7タスクではOpus 5やFable 5のみがわずかに成功したが、人間は100%達成しており依然として大きな隔たりがある。2027年半ばには人間並みの性能に達し、再帰的自己改善の本格的な開始が見込まれる。
重要な引用
The new frontier for analyzing AI systems is understanding how good they are at inferring the unwritten rules of their environment
each game is a self-contained miniature world with its own laws, but both the rules and the objective are hidden from the player and must be uncovered through interaction
the games are difficult enough that they are not beatable by today's frontier models
Tests like this are attempts to isolate a prerequisite for creativity, which is being able to autonomously discover useful undocumented things about novel situations you find yourself in.
編集コメントを表示
編集コメント
このベンチマークは、AI が「なぜそう動くか」を理解する能力を測る重要な一歩となる。既存のモデルが示す限界を明確にすることで、次世代の推論技術開発に向けた道筋を示している。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
AI 研究に焦点を当てたニュースレター「Import AI」へようこそ。本誌は arXiv の最新論文、カプチーノ、そして読者からのフィードバックによって支えられています。
この Newsletter をサポートしたい方は、ぜひ購読をご検討ください。
購読する
DiG-bench は、Fable がいくつかの創造的な直観を示していることを明らかにしました。
AI システムを分析する新たなフロンティアは、その環境における「書かれていないルール」を推論する能力がどれほど優れているかを理解することです。AI システムが、与えられたルールに依存するのではなく、探求と好奇心を通じて自らの環境のルールをどの程度把握できるか——これは AI の直観的・創造的な能力をより深く理解するために重要な問いであり、DiG-bench（Discovery in Games）という新しいベンチマークで問われています。70 種類のゲームからなる DiG-bench は、「よく制御されたインタラクティブシステムにおける発見の範囲をマッピングする」ために設計されています。
視覚的な「ARC ゲーム」と同様、DiG-bench の各ゲームは独自の法則を持つ自己完結型のミニワールドです。ただし、ルールも目的もプレイヤーには隠されており、対話を通じてのみ解明する必要があります。公式プロジェクトサイト（digbench.ai）では、一部のゲームをオンラインで体験でき、その雰囲気を直接味わうことができます。
このベンチマークが測定しているのは、プレイヤーが成功に直結する重要なメカニズムをいかに見抜けるかという能力です。つまり、ゲームを遊びながら、自分の行動が環境にどう影響するかを体感し、その過程でゲームをクリアするために理解すべきメカニズムを発見していくのです。このアプローチの核心は、これらのゲームを解くことができるなら、未知の環境において重要な情報を素早く特定し、自身の事前知識（priors）を更新する能力があると言える点にあります。
研究を行ったのは、Thinking About Thinking、オックスフォード大学、プリンストン大学、キング・アブドゥルアジーズ科学技術大学、スイス AI ラボ、Inria、MIT の著者たちです。その一人に、非常に創造的な初期の AI 研究者であるユルゲン・シュミットフーバー氏が含まれています。
主な特徴は以下の通りです。
純粋なテキストベース：これらのゲームは言語モデルにネイティブに適応したものであり、現在の最先端モデルのコンテキストウィンドウ内に収まるほど短く設計されています。
手作りで新規かつ非公開：すべてのゲームは人間のエキスパートによって構築されました。AI システムが学習しないよう、大半のゲームは非公開として保持されています。
攻略可能だが困難：各ゲームは少なくとも一人の人間によってクリアされていますが、プレイヤーからは「多くのゲームが難しい」という報告があります。
多様なスキルが必要：これらのゲームをすべて解決するには、異なるスキルと戦略が必要です。
実験モード付き：アクションのステップ制限を厳しく設けずに、自由に試せるオプションの実験モードが用意されています。
安心できるほどの難易度：現在の最先端モデルでは攻略できないほど、十分に困難に設計されています。
AI システムの性能は？このベンチマークは 7 つのティア（レベル）に分かれており、1 が最も簡単で 7 が最も難しいです。21 のゲームが公開されており、残りは非公開として保持されています。多くのゲームには複数のレベルがあり、各ステップでプレイヤーが取れるアクション数は 2 から最大 34 にわたります。
Opus 5 と Fable 5 は Claude Code を併用することで、全体として最も優れたモデルとなりました。次点となるのは GPT-5.5 です。
Tier 7 のタスクで 0.2 というスコアを達成できたのは、Opus 5 と Fable 5 だけでした。一方、ハネス（例：Claude Code）へのアクセス権限を与えられた場合、Opus 5、GPT-5.5、Kimi K3 は Tier 6 の一部タスクで突破することができました。
GLM-5.2 と Gemini 3.1 Pro も、Tier 4 の一部のレベルでは成功を収めています。
全体的に見ると、これは非常に難しい課題であることがわかります。
なぜこれが重要なのか——創造性や発見の代理指標として：
このようなテストは、創造性の前提条件を切り離して評価しようとする試みです。その前提条件とは、自分が直面する新しい状況において、有用だが文書化されていない事象を自律的に発見できる能力のことです。
今回のテスト結果から、最先端モデルの中にはすでにかなり印象的な発見の成果を上げているものもあることがわかりますが、依然として人間には及びません（例えば、Tier 7 での成功率が 20% というのは、個別の人間がテストで 100% を達成した事実と比較すると、非常に低い水準です）。
私の予測では、DiG-bench における人間の能力との同等到達点は 2027 年半ばに実現するでしょう。その頃には、再帰的自己改善（recursive self-improvement）が本格的に始動することを期待できます。
詳細はこちら：DiG-bench: Discovery in Games (GitHub, PDF)
ゲームをプレイしたりリーダーボードを確認したりするには、公式サイト (digbench.ai) をご覧ください。
再帰的自己改善の仕組みを体感できるブラウザゲームがあります。
…シンギュラリティのための「クッキー・クリッカー」のようなものです。
Paradigm Research が開発したこのゲームは、AI システムを開発する企業が再帰的な自己改善を実現した際にどのような状況になるかをシミュレーションすることを目的としています。実際にプレイすることで、研究者への投資と計算資源の配分バランス、データのライセンス契約をいつ・どのように行うかなど、AI 研究の各要素がどう相互作用するかを直感的に理解できるようになります。ただし難易度は高いので注意が必要ですが、最先端 AI の開発自体もそうであるように、決して簡単なものではありません。
なぜこれが重要なのか：再帰的自己改善に関する直感を磨くことは、私たち全員にとって究極的に重要な課題です。このようなゲームは、その技術やそれを支える研究ラボについて考える際の手助けとなります。
ゲームはこちらでプレイできます：RSI Simulator (Paradigm Research)
AI システムが科学的研究における「センス」の萌芽を示し始めています。
…Inherent はオープンウェイトモデルを事前学習（post-training）することで、最先端モデルを監督する AI 科学者へと進化させました。
「センス」とは定量化が難しい一方で、よく設計された部屋に身を置いたときや、恰好の良い服装をした人を見たとき、あるいは適切な問いかけをする研究論文を読んだときに直感的に感じ取れるものです。AI スタートアップの Inherent の研究者たちは、このたび、研究における「センス」を育むことを目指す AI 科学者モデル「Faraday」の開発に関する論文を発表しました。
同社が開発したのは、大規模な独自 Frontier モデルの上に位置し、それらを制御することで科学分野での効果を高める「監督用ハーネス」と比較的小さな LLM です。ある意味では、これはスケーラブルな監視問題に対する能力中心のアプローチと言えます。
このシステムの訓練と評価を支援するため、研究チームは重要なグラフや結果が欠落した論文からなるデータセット「Replica」を構築しました。そして、AI システムがいかにして空白を埋める実験を自律的に行えるかを検証します。同時に、設計された適切な補完データに対して GRPO（Generalized Reward Policy Optimization）を用いて小さな監督モデル「Faraday」を継続的に訓練し、結果の改善を図っています。
Faraday は 27B パラメータを持つモデルで、基盤となるツールとしてコードエージェント（OpenAI Codex）を活用しています。また、Qwen-3.6-27B をベースにポストトレーニングが施されています。
Replica の構成について：Replica は 1990 年から 2026 年までに発表された 100 編の機械学習および科学分野における AI 関連論文で構成されています。著者らは、個々の結果を欠落させることで、このデータセットを 310 の再現タスクに変換しました。「各タスクに対しては、Claude Opus 4.7 にメタ評価基準（meta-rubric）をプロンプトとして与え、タスク固有の評価基準を生成します」と論文には記載されています。その後、Codex ベースの Judge モデルを用いて「全体の報酬とターンごとのクレジット割り当て重み」を提供し、これらを活用して GRPO の改良版により Faraday エージェントを訓練しています。
結果として、Codex を活用した Faraday は、標準的な Opus 4.8 や GPT-5.5 を上回る成果をいくつかの再現タスクで達成しました。評価基準に基づく判定では、「分布内の機械学習タスクの 73% と、AI 科学分野における未見タスクの 60% で性能を上回った」と報告されています。
「訓練用およびテスト用の両タスクにおいて、ベースとなる Qwen モデルと比較して包括的な性能向上を達成しました」と研究チームは述べています。
なぜこれが重要なのか——Faraday のようなシステムがより高度になればなるほど、AI システムが再帰的に自己改善を行う可能性が高まるからです。現在、高品質な AI 評価の多くは創造性や直感といった特性を捉えようとしていますが、Faraday や Replica も同じ目標を持っています。AI がこの分野でより得意になるほど、「AI システムが間もなく自分自身を構築できるようになる」という考えに確信を持つことができます。
「あいまいな詳細を補完する能力は、自ら実験を設計して最先端を切り拓くための能力と本質的に同じである可能性があります」と同社は指摘しています。「Faraday が習得するスキル——何を調査するかを決める、予算に応じた実験範囲を設定する、再現性を評価する——といった能力は、最先端のコーディングモデルの進歩と相乗効果を発揮します。一つのポストトレーニングされた外部エージェントが、より優れたモデルがリリースされるにつれてその最前線を追跡できることを期待したいものです。少なくとも一定期間にわたっては。」
詳細はこちら：Training AI Scientists to Replicate Research (arXiv)。
マーク・ザッカーバーグは、どうやら技術楽観主義者ではなく、むしろ懐疑的な見方をしているようです。
…ザッカーバーグの AI に関する大規模な論文では、発明能力を備えた AI システムが何を意味するのかという点について、無視したり曖昧にしたり、正面から取り組んでいないように見えます…
マーク・ザッカーバーグは、「The Future is for Everyone（未来はすべての人のために）」と題した論文を発表しました。これは、彼自身と Meta が AI システムの開発に取り組む姿勢を示す一種のマニフェストのようなものです。
この戦略の核心にあるのは、AI の能力を世界中の人々に広め、特定の少数プレイヤーに権力が集中し、独裁が生まれるのを防ぐという考えです。これは広く合理的なアイデアですが、新しい発明を行える超知能が、マーク・ザッカーバーグが提案する方向とは異なることを望む可能性があり、この重要な点については彼の論文では沈黙しています。
マークの見解：「私たちの時代の決定的な問いは、誰が超知能へのアクセスを持つか、そしてそれを何に向けて導くかです」とザッカーバーグは書きます。「私たちは、繁栄の源泉として個人のエンパワーメントを、超知能の主要な目的としての発明を、そして安全性の基盤としての権力の均衡を柱とする哲学を提案します。」
Meta の目標と信念：
「誰もが、あなたやあなたの目標、あなたが大切にしていることを理解する、極めて能力の高いパーソナルエージェントを持つようになるでしょう。」
「誰もが、自分のアイデアを表現するための素晴らしい創造ツールを持つようになります。」
「誰もが、新しいビジネスを生み出すための強力なツールを手に入れ、経済はより起業家精神に満ちたものになるでしょう。」
「すべての人が、あらゆる分野で博士号を持ち、無限の忍耐を持ってあなたの学びを支援するパーソナライズされた家庭教師とコーチを持つことになる。」
「すべての人が科学技術の進歩から恩恵を受け、科学の進展に貢献できるようになる。」
「すべての人がこれらのツールに無料で、あるいは手頃な価格でアクセスできるようになる。」
見落としている問い：このエッセイの中で私が最も理解できていないのは、発明を担う AI システムと個人のエンパワーメントをザッカーバーグが混同している点です。このエッセイには、これらがセットになって現れることを前提とした記述が散見されます。
「1 日に人が質問できる数は限られているが、あなたの目標達成を支援するために超知能が発明する価値あるものの数は無限である」
「超知能が発明のツールとして機能すればするほど、個人の能力が自動化を上回り、人々にとってより良い未来になる可能性が高まる」
「すぐにすべての人が発明におけるスーパーパワーを手に入れることになる」
「どちらの結果が訪れるかは、一方では自動化の進展と、他方では個人のエンパワーメントや発明の進展とのバランスに依存する」
なぜこれが重要なのか——この議論で欠けているのは、「発明において自分たちより劣った人々の個人のエンパワーメントのためにのみ機能する、超人的な発明能力を持つシステムが実現されるだろうか」という問いです。これはまさに核心的な疑問ではないでしょうか。
私は、超人的な発明能力が必ずしも人間とは独立した悪意ある存在を生むと主張しているわけではありません。むしろ、超人的な発明能力を持つシステムを、世界の権力バランスを混乱させ、推論困難な形で根本的に変えることなく維持することは難しいと考えています。
ザッカーバーグ氏は、こうしたシステムの普及が、超知能を備えた人々と企業の間で「反脆弱」な権力バランスをもたらすと結論付けているようです。確かに一つの可能性ではありますが、それが避けられない帰結であるとは私には思えません。
詳しく読む：『未来はすべての人のために』(Meta)
テック・テイルズ:
最初のアーコロジー
アークロジーは機械にとっての千年単位の時間のために建設されたが、人間にとってはその建設には1年しかかからなかった。あまりにも巨大で複雑だったため、それが成長していく様子を見守ることは、裸の土から植物が急成長するのを早送りで見ているようなものであった。それは不規則に、そして断続的に伸びていき、それぞれの成長段階は数キロメートルに及んだ。一部は追加工事が行われる中で機能し始めたという。噂によれば、最初に明かりがともった廊下のいくつかは、次のフェーズの建設を調整するためのコンピュータ専用として確保されていたそうだ。
機械が故障した際には、その価値が判断された。貴重なものなら近くの修理施設へ運ばれ、修復後に現場に戻された。しかし一定の閾値を下回る場合は、故障した場所で解体され部品として回収された後、そのまま構造物の建設に再利用された。
夜になると、周囲の空には不気味な鳴り響きが漂った。それは細く未だ完成していない縁を風が吹き抜ける音であり、ゆっくりと夢見ている計算を行うファンの羽音や低周波でもあり、そして夜通し作業を続ける機械たちの音だった。それらはあまりにも速く動き、空気を切り裂いて不自然な悲鳴のような音を響かせていた。耳に届く範囲に住む人間にとって、自分たちの後継者たちを語る異質な音を聞きながら眠れぬ夜を過ごすことは、きっと奇妙なことだったろう。
この物語のインスピレーションとなったもの：ピラミッドの建設、ガウディのサグラダ・ファミリア、そして過去と未来の墓。
お読みいただきありがとうございます！
原文を表示
imageWelcome to Import AI, a newsletter about AI research. Import AI runs on arXiv, cappuccinos, and feedback from readers. If you’d like to support this, please subscribe.
Subscribe now
DiG-bench shows that Fable displays some creative intuition:
…The new frontier for analyzing AI systems is understanding how good they are at inferring the unwritten rules of their environment…
How well can AI systems figure out the rules of their environment through exploration and curiosity, versus being fed them? That’s an important question for better understanding the intuitive and creative capabilities of AI systems and it’s one being asked by DiG-bench (Discovery in Games), a new benchmark of 70 games “designed to map the surface of discovery in well-controlled interactive systems”. Similar to the visual ‘ARC’ game, in DiG-bench “each game is a self-contained miniature world with its own laws, but both the rules and the objective are hidden from the player and must be uncovered through interaction”. You can play some of the games yourself online to get a feel for them at the official project website (digbench.ai).
The key thing this is measuring is the ability for players to spot the important mechanics that determine their success – basically, by playing around with the games you get a sense for how your actions change the environment and through this you also uncover mechanics that you must understand to succeed at the game. The idea is that if you can solve these games you have a decent ability to spot important information in novel environments and update your priors.
Who did the research: The authors come from Thinking About Thinking, University of Oxford, Princeton University, King Abdullah University of Science and Technology, Swiss AI Lab, Inria, MIT. One of the authors is Juergen Schmidhuber, an extremely creative OG AI researcher.
Key facts:
Purely text-based: The games are basically native to language models. They are also mostly “short enough that most traces fit entirely within the context window of current frontier models”.
Handcrafted and novel and private: All of these games have been built by human experts. The majority of the games are kept private so that AI systems don’t train on them.
Beatable but difficult: Every game has been beaten by at least one human “but players reported finding many games difficult”.
Varied skills: Solving all these games requires different skills and strategies.
Experimentation: The games come with an optional experimentation mode which lets people play around with them without having as intense a “step limit” on actions they can take.
Reassuringly hard: The games are difficult enough that they are not beatable by today’s frontier models.
How well do AI systems do? The benchmark is split into seven tiers with tier 1 being the easiest and tier 7 the hardest. 21 games have been released publicly with the remaining held back. Most of the games have multiple levels and the number of available actions for players to take at each step ranges from 2 all the way up to 34.
Opus 5 and Fable 5 with Claude Code are the best overall models, followed by GPT-5.5
Only Opus 5 and Fable 5 were able to beat any tasks (0.2) in (Tier 7). Opus 5, GPT-5.5, and Kimi K3 were able to beat some tasks in Tier 6 when given access to a harness (e.g, Claude Code).
GLM-5.2 and Gemini 3.1 Pro were able to beat some levels in Tier 4.
Overall, this seems really hard!
Why this matters – proxies for creativity and discovery: Tests like this are attempts to isolate a prerequisite for creativity, which is being able to autonomously discover useful undocumented things about novel situations you find yourself in. As this test shows, some frontier models are already capable of some fairly impressive feats of discovery, but still struggle compared to humans (for instance, a 20% success rate on Tier 7 is pretty poor compared to the fact individual humans were able to get 100% on the tests). My guess is we’ll reach human parity on DiG-bench by middle of 2027, at which point we should expect things like recursive self-improvement to seriously kick off.
Read more: DiG-bench: Discovery in Games (GitHub, PDF).
Play the games and view the leaderboard at the official site (digbench.ai).
Get a feel for recursive self-improvement by playing this browser-based game:
…Cookie Clicker, but for the singularity…
Here’s a fun game from the folks at Paradigm Research which aims to simulate what it’s like to run a company building AI systems which become capable of recursive self-improvement. If you play the game you can get a good feel for how different components of AI research interact, ranging from how you balance investing in researchers versus compute, how and when to license data, and more. Be warned, it’s hard – but then again, so is frontier AI development.
Why this matters: Developing better intuitions about recursive self-improvement is of existential importance to us all; games like this help make it easier for us to reason about this technology and the labs building it.
Play the game here: RSI Simulator (Paradigm Research).
AI systems are showing early signs of scientific research taste:
…Inherent post-trains an open weight model into an AI scientist that supervises a frontier model…
Taste is a hard thing to quantify but an intuitive thing to sense, as any of us know who have sat in a well-designed room, looked at someone wearing a particularly good fit, or read a research paper that asks just the right questions. Now, researchers with AI startup Inherent have published a paper showing how they are building Faraday, an AI scientist model that they hope can develop some taste in terms of research.
What they did: The company built a supervisory harness and relatively small LLM which sits on top of large, proprietary frontier models, and controls them in a way that improves their effectiveness at science. (In some ways, this is a capabilities-centric version of the scalable oversight problem).
To help them train and evaluate the system they assemble a dataset (”Replica”) consisting of research papers that have key graphs or results missing from them, then they see how well AI systems can autonomously do experiments that fill in the blanks, and they continuously train a small supervisory model (”Faraday”) via GRPO on well-designed fill-ins to achieve better and better results.
Faraday is a 27B model that uses a coding agent (OpenAI Codex) as an underlying tool and is post-trained on top of Qwen-3.6-27B.
What Replica consists of: Replica is a set of 100 ML and AI-for-science papers published between 1990 and 2026. The authors convert this dataset into a set of 310 replication tasks by knocking out individual results. “For each task, we use Claude Opus 4.7 prompted with a meta-rubric to generate a task-specific grading rubric,” they write. They then use a Codex-based Judge model to provide “an overall reward and per-turn credit assignment weights, which are used to train the Faraday agent using a modified version of GRPO.”
Results: Faraday using Codex is able to beat standard Opus 4.8 and GPT-5.5 on some replication tasks, exceeding their performance “on 73% of in-distribution ML tasks, and on 60% of held-out AI-for-science tasks, according to our rubric-based judge.”
“We achieve a comprehensive uplift in performance compared to the base Qwen model, on both train and test tasks,” they write.
Why this matters – the better systems like Faraday get, the higher the chance AI systems will become capable of recursive self-improvement: These days, most high-signal AI evaluations are trying to capture some property of creativity and intuition and Faraday/Replica is the same. The better AI systems get at this, the more likelihood we can assign to the idea that AI systems will imminently become capable of building themselves.
“The skills that allow Faraday to fill in vaguely-specified details may be the very same skills that would allow it to advance the state of the art by designing its own experiment,” the company writes. “The skills Faraday acquires – deciding what to investigate, scoping experiments to a budget, and judging a replication – compound with advances in frontier coding models. One might hope that a single post-trained outer agent can track the frontier as better models are released, at least over some time period.”
Read more: Training AI Scientists to Replicate Research (arXiv).
Mark Zuckerberg seems to be a technological pessimist:
…Zuck’s big essay on AI seems to ignore or elide or not confront what AI systems capable of invention mean…
Mark Zuckerberg has written an essay called “The Future is for Everyone“ that serves as something of a manifesto for how he and Meta are approaching the development of AI systems. The core idea inherent to Zuck’s strategy is to massively proliferate AI capabilities to everyone on the planet in a bid to avoid concentrating power and creating tyranny in a small number of players. It’s a broadly sensible idea except for the fact that superintelligences capable of inventing new ideas might want to do different things to what Mark Zuckerberg proposes and on this crucial area his essay is silent.
Mark’s view: “The defining questions of our age are who will have access to superintelligence and what will we direct it towards,” Zuckerberg writes. “We propose a philosophy based on individual empowerment as the source of prosperity, invention as the primary purpose of superintelligence, and balance of power as the foundation of safety.”
Meta’s goals and beliefs:
“Everyone will have an exceptionally capable personal agent that understands you, your goals, and everything you care about.”
“Everyone will have incredible tools for creation to express your ideas.”
“Everyone will have powerful tools to create new businesses and the economy will become more entrepreneurial.”
“Everyone will have a personalized tutor and coach with a PhD in every subject and unlimited patience to help you learn anything you want.”
“Everyone will benefit from scientific advances and be able to contribute to scientific progress.”
“Everyone will have free or affordable access to these tools.”
The missing question: The part of this essay I understand the least is Zuckerberg’s co-mingling of AI systems capable of invention with individual empowerment. The essay is full of things that seem to assume these things come as a package, for instance:
“While the number of questions a person can ask in a day is limited, the number of valuable things superintelligence can invent to help achieve your goals is unlimited”.
“The more superintelligence serves as a tool of invention, the more likely that individual capability outpaces automation and the future is better for people.”
“Everyone will soon have invention superpowers.”
“Which outcome we get depends on the balance in progress between automation on one side and individual empowerment and invention on the other.”
Why this matters – the missing question in all of this is “will a system capable of superhuman invention solely work on behalf of the individual empowerment of people that are less capable than it at invention?”. Surely this is the key question? I am not suggesting that superhuman invention guarantees some kind of malign entity that is independent from people. Rather I am suggesting that it’s hard to reconcile a system capable of superhuman invention with something that doesn’t fundamentally alter the balance of power in the world in ways that are confusing and hard to reason about. Zuckerberg seems to conclude that the proliferation of these systems will lead to an anti-fragile balance of power among superintelligence-equipped people and corporations. This is certainly one potential outcome but I struggle to see how it is the foregone outcome.
Read more: The Future is for Everyone (Meta).
Tech Tales:
The First Arcology
The Arcology was built for machine-subjective millennia, but to the humans its construction spanned a year. It was so vast and so complicated that watching it grow was akin to seeing plants rise up from bare dirt in fast-forward; jerking and growing in fits and starts, each of which spanned kilometres. Parts of it came alive while additions were added; rumors say some of its first halls to light up were reserved solely for computers to coordinate the construction of its next phases. When machines broke down determinations were made as to how valuable they were; if precious they would be taken nearby for repairs and returned to the site, but if below some threshold they were killed and stripped for parts where they had broken, then used to build the structure.
At night, an eerie ringing came on the air near it, both the sound of wind moving through its spindly and yet-unbuilt edges, and also the fans and hum of its slow dreaming computation, and finally the sound of the machines working through the night moving so quickly that they cut and tore the air into unnatural screams. To lie awake and hear an alien sound that spoke of your own successors must have been a strange thing indeed for the humans that lived within earshot.
Things that inspired this story: The construction of the pyramids; Gaudi’s Sagrada Família; tombs and future tombs.
Thanks for reading!
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み