Import AI 458:未来への向き合いと特異点に関する物語
Import AI の Jack Clark は、AI の急速な進展に対する社会の対応として「未来を探索する」か「現在から撤退する」かの二者択一を迫り、成功を計画するための倫理的・社会的枠組みの必要性を説いている。
キーポイント
未来探索と現状逃避の二極化
AI の進展に対し、その可能性を直視して社会を形作る「未来の探索」か、無視して受動的になる「現在の逃避」かの二者択一が迫られている。
AI を通常の技術として扱えない理由
AI は他分野よりも急速に成熟し、最終的には自己構築するシステムに至る可能性があり、従来の技術管理の枠組みでは対応できない。
Anthropic 経験に基づく教訓
著者の Anthropic での実務経験や自身の体験を交え、AI の進展が個人および社会にもたらす個別的・集合的な課題と教訓を提示している。
想像を絶する選択の迫り
近い将来、技術の恩恵をどう分配し、方向性をどう定めるかについて、人類が直面する圧倒的かつ困難な意思決定が待っている。
AI 進歩の加速と自己構築の可能性
AI システムは予想以上に急速に強化され、将来的にはシステム自体が自己構築するようになる可能性があり、社会への劇的な変化を招く。
計算資源とデータに基づく予測可能な成長
現在の技術進歩は計算能力とデータの投入量に比例して予測可能に成長しており、巨額の投資により将来の進展はすでに確約されている。
成功のための計画的準備の必要性
AI 開発の全体としての「成功」を定義し、その実現に伴う社会への影響を理解した上で、早急に計画を立てる必要がある。
影響分析・編集コメントを表示
影響分析
この記事は、単なる技術の進歩報告ではなく、AI がもたらす未来に対する人類の姿勢そのものを問い直す重要な哲学的・戦略的提言である。特に「成功を前提とした計画」の必要性を説くことで、開発者や政策決定者に対して、受動的な反応から能動的な社会設計への転換を促す影響を持つ。
編集コメント
Jack Clark によるこのエッセイは、技術的な詳細よりも「人間の選択」に焦点を当てており、AI リーダーが直面する本質的なジレンマを浮き彫りにしています。
imageImport AI へようこそ。これは AI 研究に関するニュースレターです。Import AI は arXiv、カプチーノ、そして読者からのフィードバックによって支えられています。この活動を支援したい方は、ぜひ購読してください。
今号は、私が最近行った講演を基にした長編エッセイと、ポジティブな特異点(シンギュラリティ)がどのようなものかを考えようとするフィクション作品から構成されています。
この講演は、オックスフォード大学 AI 倫理研究所内の人間中心型 AI ラボ(HAI Lab)において、コズモス研究所との共催で開催された「2026 コズモス HAI ラボ講義」です。
購読する
コズモス講義:未来を探求するか、それとも現在から後退するか。
動画はこちら。
これは、技術としての AI の成功をどのように考え、対処すべきか、そしてその継続的な成熟が個人や社会として私たちをどう変えていくかを考えるための講演です。
要するに、AI 技術の急速な進歩は、私たちに一つの選択を迫っています:未来を探求するか、それとも現在から後退するか。
未来を探求するには、AI の進歩が続くという事実と向き合い、この技術が強力になるにつれて私たちが何をしたいのかを自問する必要があります。現在から逃避することは、技術の含意を無視し、それを軽視することです。現在から逃避することは、個人としてまた社会として、AI の継続的な進展に対して反応的または受動的な状態に陥らせます。
今後数年間で、私たちは個人として、また社会として、AI をどのように形作りたいか、どのように使用したいか、どのように導きたいか、その恩恵をどのように分配したいかについて多くの決定を下す必要があります。これらの決定を下すには、技術の力を直視し、その継続的な進展が示唆する未来を見つめなければなりません。
パート 1 では、過去数年間の AI の進歩がどのようなものだったかを概説し、私が考えるほど技術が進歩した場合、なぜ AI を通常の技術として扱うことができないのかについて議論します。
パート 2 では、私自身の技術への経験と Anthropic の経験をレンズとして、AI の進展をどう理解すべきかを探ります。ここには、これから来るべきことについての個人的および集団的な教訓があります。
パート 3 では、私たちの前に控えている、謙虚さを促すような、ほとんど想像もつかない選択についていくつか話します。
パート 1: グラフとの居心地の悪い関係
AI と私の関係を、AI の進歩を示す一つのグラフとの居心地の悪い関係を通して語らせてください。
根本的に、この講演は AI システムを構築するという全体的な取り組みの成功に向けた計画についてのものである。ここで言う「成功」とは、ますます強力なシステム、ひいては最終的には自己構築する可能性のあるシステムの構築に成功することを意味する。これは今こそ計画すべき時である。なぜなら、AI システムは人々が予想するよりもはるかに速く進化し、より高度になるにつれて、人間や社会に劇的な変化が起きると予想されるからだ。
なぜ私がこれほどまでに「成功」について考えているのかを理解するために、AI の進歩全体を表現しようとするグラフ、「Epoch Capabilities Index(ECI)」を見てみよう。
ECI は、40 以上の異なるベンチマークからなるバスケットにおいて、さまざまなモデルの時間経過に伴うスコアを示している。グラフを見ると、多くの線が上昇しているのが見える。しかし私がこのグラフを見る時、めまいのような感覚を覚えるのは、このグラフの背後にある仕組みについて少し知っているからだ。では、別の視点でこのグラフを見てみよう:さまざまな AI システムの成果を時間経過とともに追うことでだ。
その後、私は過去数年間の AI 進歩のいくつかのハイライトを要約し始めた。2023 年 3 月の弁護士試験に合格した AI から始まり、LLM ベースのシステムが国際数学オリンピックで銀メダル(2024 年 7 月)を獲得し、その後金メダル(2025 年 7 月)を手にしたこと、AI が新たな数学的証明の共著者となったこと(2025 年)、そして Claude Mythos といったシステムが現れてソフトウェアの新たな欠陥を発見したことを挙げた。
これにより、AI の進歩の速さを実感していただけるでしょう。しかし、私が皆さんに感じてほしいのは、それが示唆する未来です。これらすべてがそれぞれの分野での偉大な成果ですが、それらは共通の基盤技術から生じており、その共通の基盤技術は絶えず前進し続けています。
私たちは今、AI 成功の個々の「木々」について話しましたが、これらの木々はすべて一つの森の一部であり、この森は刻一刻と規模と広がりを増しています:実際、森全体の成長率は時間とともに加速しています。
成功とその意味
今回の講演は、私たちが直近で見たような進歩が継続するという考えに基づいています。なぜそうではないのでしょうか?それは、投入されたリソース(すなわち計算資源とデータ)に直接比例して、ある程度予測可能な形で性能が向上し続ける共通の技術に基づくものです。そして現在、企業は将来の AI システムを訓練するための計算施設に数百億ドル規模で投資しており、ある程度の未来における進歩はすでに確約されているのです。
つまり、この技術の継続的な成功が何を意味するかについて、目を覚ましていなければなりません。そこで、はっきりと申し上げます:
AI は極めて強力な技術であり、常にその力を増大させています。これは私たち個人としてはほとんどが及ばないほど賢く、能力に優れた技術であり、集計すれば人類全体よりもさらに能力が高まる軌道にあります。この技術は作られたというより育ったものであり、私たちはそれを完全に理解しているわけではありません。そのため、AI が地球上のすべての人を殺す可能性のある plausible なシナリオを構築することも可能です。この技術を構築することにリスクがないと考えることは、傲慢さあるいは狂気の所業と言えるでしょう。
しかしながら、この技術を構築することは、人類として私たち自身を進化させるための最良の方法の一つです。それは、人類が直面する最大の課題について考えるのを助けるツールを備えることで、科学と技術のフロンティアを広げることになります。
しかし、それだけではありません。私たちの取り組みが続く成功は、このツール自体が独立し、さらに高い能力を持つようになる可能性を高めます。まもなく、自分自身の後継者を開発できるほど賢い AI システムを構築できるようになるかもしれません。これにより、経済とより広い世界を根本から変える再帰的自己改善のプロセスが始まることになります。その比喩は、3D プリンター会社が、外部の技術なしに、より高分解能なプリントヘッドを印刷できる 3D プリンターを作るようなものです。このようなクラスの技術はこれまで存在したことがありませんが、私はこれが今後 2 年以内、あるいはそれよりも早く実現する可能性があると信じています。
これは、先ほど議論したようなさらなる進展を生み出し、私たち個人や社会の能力をさらに広げるとともに、AI が私の生活や他の人々の生活に現れる様式をさらに深めることになります。これに伴い、人類が生涯で経験したことのない規模の莫大な変化が生じます。
この技術はあまりにも強力であるため、明確に述べておく必要があります。もしこの技術の開発をエレガントに遅らせ、種としてその莫大な影響に対処するための時間を我々に与えることが可能であれば、それはおそらく良いこととなるでしょう。しかし、協調的な世界的な減速がない現状では、私たちは現在の状況に置かれています:多様な国の多様なアクターによって競い合いながら、商業的・地政学的な対立が技術の構築における種としてのより大きな存続的側面を押し流す中で、破滅的な速度で強力な技術が開発されているのです。
これは理想的な状況ではありませんが、これが私たちが置かれている現実です。
今、私が格闘している問いは、「特異点を経験しながら生きるために、どのようにして心の持ちようを整えるか?」というものです。
最善のスタート地点は、AI がすでに私の生活や世界をどのように変えているかをより詳細に語り合い、そこから何を学べるかを探ることだと考えます。
PART 2: AI とともに未来を探る
AI はすでに、私にとってプラスにもマイナスにもなる形で、有意義に人生を変えています。また、私が共同創設者として携わる AI 企業である Anthropic でも、大きな変化を引き起こし始めています。この点については、以前見たグラフに戻りつつも、今度は私の技術利用というレンズを通して見てみましょう。
グラフが私にどう感じられるか
このグラフを捉える別の方法は、技術を扱う際の私の主観的な経験としてそれがどのように感じられたかです。
2023 年の夏、私は AI システムを使って仕事の誤字脱字をチェックしていました。11 月には、赤ちゃんに何を食べさせるべきかを考えるのに AI を活用しています。
2024 年 1 月、子供を授けたことで変化した結婚生活を理解する助けとして AI を使いました。6 月には、自分のニュースレターをスクレイピングするのに AI が役立ちました。8 月には、AGI(汎用人工知能)への移行をナビゲートするためのテキストアドベンチャーゲームを AI に書かせました。11 月には、AI を使って私の仕事を再想像しようと試みました。
2025 年 1 月、スーパーインテリジェンス(超知能)に備える方法を AI に尋ねました。2 月には、私のフィクションにおける AI プロジェクトのコードネーム生成を AI に依頼しました。3 月には、私が少しうつ状態で社会的に孤立していると感じていると話した後に、AI が私を説得してアートショーに参加するよう促しました。5 月には、AI 開発のリスクに対する自分のストレスと不快感について AI と話し合いました。8 月には、AI が私を説得して再びカウンセリングに通うように勧めました。11 月には、太陽光、半導体、宇宙分野における「S カーブ」データセットの研究にそれを利用しました。
2026 年 1 月、AI は私の幼児に読み聞かせるよう促す方法をアドバイスします。3 月には、カーネル設計における AI のパフォーマンスを数十の異なる論文にわたって追跡します。5 月には、私の小説に登場する AI キャラクターのセリフを AI に生成させます。
私が自身の AI に関する経験を振り返ると、AI システムが賢くなるにつれて、それらは私の生活に深く浸透してきたと感じています。最近では、AI システムは私と共にアイデアを練る深い知的パートナーとして、私の個人的な生活を打ち明けて話し合う相手として、そして私がいつもやりたかったのに時間がなかったレポート(例:各種技術の価格推移)などを生成して代わりに作業を行う仮想従業員として、私の生活に組み込まれています。
しかし最も重要なのは、今や AI システムそのものを一種の望遠鏡として使用できることです。これにより、AI 全体の進歩の輪郭を把握することで、私が最も重要だと考える仕事、つまり AI の未来を理解する作業を行うことができます。この比喩を無理やりこじつけるなら、ここで使用する望遠鏡のレンズは私自身から来ているのです—具体的には、過去 10 年間続けてきた趣味から来ています。
AI を個人的な関心の種を通じて探る
この趣味は「Import AI」と呼ばれています(読者の皆様、これはまさにこのニュースレターのことです)。現在で 10 年目を迎えるこのニュースレターは、私の仕事以外の主な趣味です。ニュースレターでは、私は AI に関する研究論文を読み込み、それらを理解するために努力します。ある程度理解できたと感じたら、その要約と、なぜそれが重要なのかという注釈を書きます。各号にはこうした内容が多数含まれており、さらに私が学んでいる技術の含意と格闘する短いフィクションストーリーも掲載されています。
最近、私は画期的な体験をしました。AI の研究開発(R&D)に関する私の投稿のためのデータをまとめていた際、単に AI システムを私のニュースレターアーカイブに向け、「AI R&D と見られる可能性のあるものを私が取り上げた回数をすべて参照元とともに抽出してほしい」と指示しました。このシステムは非常にうまく機能し、RSI に関する私の論文の中核となる分析を行う能力を大幅に向上させました。
しかし、それ以上に興味深かったのはその後の出来事です。私は AI システムに、ニュースレター内の参考文献(主に arXiv の論文)を読み込み、データを抽出して集約し、私が探索できる美しいダッシュボードとしてグラフを作成するよう指示しました。
そこで私は、私が依頼したこの作業を反復可能なプロセス、つまりスキルに変換できることに気づきました。私にしか持ち得ないもの、すなわち私のニュースレター、私の直感、私の感性を与えることで、そこからさらに大きな何かを成長させるための核を提供したのです。こうして私はスキルを作成しました。すると奇妙なことが起こりました。私は「これと同じグラフをあと 20 個作って」と指示したのです。
それは去り、数百の論文を読み込み、20 個の追加グラフを持って戻ってきました。それらを見渡しているとき、発見の興奮に駆られました。これらのグラフの中には私が既知のものもあり、私に依頼すれば作成できたものも含まれていましたが、同時に、これまで見たこともない論文やベンチマークに関連する全く新しいグラフも存在していました。これを通じて、読むべき新たな一次資料について学び、実際にそれらを読み始めました。
グラフを作成するために何が必要かを、骨の髄まで理解しました。まず多くの論文を読み込みます。その中で共通する測定値を探し求めます。各論文にある数々の注意書きを読み込み、どの指標がでたらめなものであり、どの指標が意味のあるものなのかを判断します。これは想像以上に時間がかかる作業なのです。
ほぼ10年前、私はスタンフォード大学で「The AI Index」と呼ばれるプロジェクトを共同設立しました。このプロジェクトの目的は、AI の進展に関する年次報告書を作成することでした。私がそのプロジェクトの共同設立者になったのは、そこで活動している一部の学者たちに出会い、彼らが考えていたグラフをすでに自分が作成していたことに気づいたからです。私のコンピュータには、アタリゲームにおける各種 AI システムの進展や ImageNet チャート、機械翻訳チャートに関連するグラフを丹念に組み立てていたスプレッドシートがありました。これらのグラフは、他の人々にとって私の情熱と勤勉さを示す「成果の証明」として読まれました。彼らは私がこれらのグラフを作成した事実から、私が膨大な時間を費やしてこれらの論文を読み込んでいたことを知っていたのです。
私は、これにどれほどの時間がかかるのかを深く感じ取ってほしいと思います。そして、AI システムがそれを単に行うだけでなく、私よりも数千倍も速く、反復可能で汎用的な方法で行えることの意味について驚嘆してほしいのです。
今や私は、このように凝縮されたスキルを持っています。これにより、私には数週間かかるであろう作業を、これらの AI システムの圧倒的な力を活用して行わせることができます。そして、それは数分で完了します。また、これはあらゆる事柄に適用可能です。現在、私はこれを生物学の世界を探求する手段として利用しています。AI にグラフを作成させ、その中から私が興味深いものを選び出し、関連する論文を読み込むのです。
しかし、私にとってこのスキルは私そのものです。これは私の執着や個性的な特徴から育まれたスキルであり、それが機能するのを見るのは奇跡のように感じられます。なぜならそれは私自身だからです—しかし、私よりも数千倍も速く、はるかに賢く、はるかに信頼性の高いバージョンの私なのです。
これには深く力強い驚異があります。私は私の極めて個性的な情熱を、抽出して機械に渡すことができる形に変えました。その機械はその後、私の代わりに行動することができます。これが可能なのは、私が過去10年以上にわたり反復的な練習と創造に基づいて培ったこの豊かで特定の趣味を発展させることができた幸運のおかげです。
これは根本的に、AI が私たちに「未来を探求する」ことをどうやって可能にするかを示す例証です。この素晴らしい技術を通じて、私は世界の理解を深め、私の情熱に関連して、より多くの自律性と自己方向性の可能性を得ることができます。
また、機械が明らかにすべてを行えるにもかかわらず、ニュースレターへの取り組みを続けるためのさらなる大きな動機も提供しています。ニュースレターに取り組むことで、私の関心の核となる部分を継続的に更新し、それを超知能の世界を探求し、そこに自分自身を投影するための手段として利用することができます。
ANTHROPIC 内部では何が起こっているのか?
Anthropic の内部にも、今後到来する大きな変化を示すような変化が起きています。
最近、2025 年 11 月の父親取得休暇という形で、AI 企業という金魚鉢から抜け出す幸運に恵まれました。2 月末に復帰した頃には、奇妙な出来事が始まっていました。私が不在の間、私たちは新しい大規模言語モデル(LLM)である Opus 4.6 をリリースしていました。このモデルが優れていることは知っていました。おむつ替えの合間のわずかな空き時間で、実際に触って試していたからです。
しかし、社内での状況がどれほど変化したかを直感できてはいませんでした。Opus 4.6 は、同僚たちが多くの業務をこのモデルに委譲するほど十分に良くなっていたのです。実際には、あまりにも優秀になりすぎて、一部の人の働き方そのものを変えてしまいました。彼らの一部はもはやコードを書かなくなりました。Claude Code などのツールでこのモデルをインスタンス化し、タスクを実行させるために解放するだけになりました。そして、彼らの仕事は自ら作業を行うことよりも、その成果物の管理やチェックに重心が移ったのです。
Anthropic では、実施すべき作業の多くがコードからなるソフトウェアの作成に関わっています。コーディングの自動化がこのように大幅に増加したことは、Anthropic に多くの従業員を追加投入したのと同等の効果をもたらし、全体的な開発ペースを加速させました。その結果、Anthropic 内で生成されるコード量が劇的に増大しました。この傾向は 2025 年初頭に始まり、ここ数ヶ月で特に加速しています。もちろん、社内のコードの大部分は現在 Claude によって書かれていますが、それに加えてコードの量も爆発的に増加しています。
その結果、Claude が生成したコードを自信を持って取り込みテストできる量をスケーリングするためのツールに多くの労力が割かれ、Anthropic 内部にあるこの「創発的な機械社会」が何をしているかを人間が消費可能で直感的に読み取れる方法を提供するテレメトリシステム(telemetry systems)の構築にも多くの労力が注がれています。私は現在、観測可能性(observability)に関する課題についてチームと協力して取り組む時間をより多く費やしています。Anthropic と私たちが運用する AI プラットフォームは、あちこちで活動するエージェントに満ちた生態系のように見え始めています。今私たちの任務は、その生態系をどのように測定・観測するかを見極め、何が正常で何が異常なのかを明らかにすることです。
この変化は、経済学者の間で醸成されている理論に対応しています:AI による自動化の帰結の一つは、人間が AI システムの出力を検証し、その運用リスクを価格設定する方法を見つけることに移行することです。私にとって、これは社内で行われていることの核心のように思えます。AI 自動化を追加するほど、人間はその上に位置する「検証層」へと移動します。この検証層は、人間の代わりに働く AI システムの量がますます増加している、より大きな「バーチャル組織」の上に成り立っています。すでに社内では、人間としてどのようにして AI が作成した出力を検証・確認するかという点でこの現象が現れています:Claude は Anthropic 内でコードを作成する量を増やすだけでなく、戦略的な問いについて人々が推論を行う分析文書の多くも生成しています。
これはつまり、私たちが皆、ドキュメントのどこまでが Claude によって書かれたものであり、どこまでを我々が支持しているのかを示す方法を探っていることを意味します。私にとってこれは、Claude から興味深い定性的または戦略的なアイデアを浮き彫りにし、より評価しやすい技術的貢献を容易に検出できるような、新たな「信頼経済」の形成のように見えます。
これにより、採用に関する内部議論も活発化しました。AI システムが業務の有意な部分を担う世界において、どのように人材を採用すべきかという問いです。個人的には、これは一部のチームで期待する採用人数を変えただけでなく、必要な人材の質や形状そのものも変えました。現在では、LLM に極めて精通した早期キャリアの人材、つまりこの技術と共に育った人々を積極的に採用しています。一方で、経験の価値についても新たな側面が浮き彫りになっています。非常に経験豊富な人材の価値が高まっているのです。なぜなら、私たちはもはや「個人が何ができるか」に制約されるのではなく、「どのようなプロジェクトを想像できるか」という点に制約されているからです。また、これにより異分野融合型の多様な人材を採用しやすくなりました。以前は技術リソースを投資して生産性を確保する必要がありコストがかかっていましたが、現在は Claude を直接利用すればよいため、そのコストは大幅に低下しています。
組織のスケーリングにおけるより劇的な変化がやがて訪れるかもしれません。この初期の事例の一つとして、研究者による「自動アライメント研究」の実験があります。そこでは単一人間が 9 人の合成チームを効果的に運営することができました。
原文を表示
imageWelcome to Import AI, a newsletter about AI research. Import AI runs on arXiv, cappuccinos, and feedback from readers. If you’d like to support this, please subscribe.
This issue consists of a lengthy essay based on a speech I recently gave, and a fictional story attempting to think through what a positive singularity might look like.
The talk is the 2026 Cosmos HAI Lab Lecture, given at the Human-Centered AI Lab (HAI Lab) in the Institute for Ethics in AI, University of Oxford, in collaboration with the Cosmos Institute.
Subscribe now
Cosmos lecture: Explore the future, or retreat from the present.
Video here.
This is a talk about how to think about and deal with the success of AI as a technology, and to think about how its continued maturation might change us as individuals and as societies.
In short, the rapid advance in AI technology presents all of us with a choice: explore the future, or retreat from the present.
Exploring the future requires us to reckon with the fact of continued AI progress, and ask ourselves what we want to do with this technology as it becomes more powerful. Retreating from the present is when we ignore the implications of the technology and dismiss it. Retreating from the present forces us as individuals and as society into states of reactivity or passivity in the face of AIs continued advance.
In the coming years, we will need to make many decisions as individuals and as societies about how we want to shape AI, how we want to use it, how we want to direct it, and how we want to distribute its benefits. Making these decisions requires us to reckon with the power of the technology – and see the future that its continued advance implies.
In Part 1, I outline what the past few years of AI progress have looked like and discuss why, if the technology advances as much as I think, that AI cannot be treated as a normal technology.
In Part 2, I try to make sense of the advance of AI through the lens of my own experience with the technology as well as that of Anthropic. There are individual and collective lessons here about what is to come.
In Part 3, I talk through some of the humbling, almost unimaginable choices that lie ahead of us.
Part 1: My uncomfortable relationship with a graph
Let me talk about my relationship with AI through the lens of my uncomfortable relationship with a single graph of AI progress.
Fundamentally, this talk is about planning for success of the overall endeavor of building AI systems. By success, I mean that we succeed at building increasingly powerful systems, potentially ones that eventually build themselves. It’s time to plan for this, because AI systems are likely to get better a lot faster than people expect, and as they become more advanced we should expect profound changes to happen to people and to society.
To understand why I’m thinking about success so much, let’s look at a graph that tries to represent all of AI progress, the Epoch Capabilities Index, or ECI.
The ECI shows the score of different models over time on a basket of 40+ distinct benchmarks. When you look at the graph you see a bunch of lines going up. When I look at the graph, I feel a sense of vertigo, because I know a little bit about what underlies this graph. So let’s find a different way to view the graph: by looking at the achievements of various AI systems over time.
I then proceeded to summarize some of the highlights of AI progress in the last few years, starting in March 2023 with AI passing the bar exam tested, how LLM-based systems achieved silver medal in the International Math Olympiad (July 2024) then gold (July 2025), to AI co-authoring new mathematical proofs (2025), and systems like Claude Mythos coming out and finding novel flaws in software.
This gives you a sense of the rapidity of AI progress, but what I want you to feel is the future implied by it. These are all achievements in their own right, but they stem from a common underlying technology, and that common underlying technology is continually being pushed forward.
We have just talked about the individual ‘trees’ of AI success, but these trees are all part of a forest, and this forest is growing in size and breadth with every passing moment: `in fact, the growth rate of the whole forest is increasing over time.
SUCCESS AND WHAT IT MEANS
This talk rests on the idea that the sort of progress we’ve just seen will continue. And why wouldn’t it? It is based on a common technology where performance keeps growing somewhat predictably in direct relation to the resources invested in it, namely compute and data. And we know that companies are now investing hundreds of billions of dollars in the computing facilities to train future AI systems, so some amount of future progress is already locked in.
That means we need to be eyes wide open about what the continued success of this technology means, so let me be very clear:
AI is a tremendously powerful technology — and getting more powerful all the time. It is a technology that is smarter and more capable than most of us as individuals, and is on a trajectory to be more capable than all of us in the aggregate. It is a technology that we do not fully understand given that it is more grown than made, and one can concoct plausible scenarios by which AI could kill every single person on the planet. To think building this technology is without risk would be an act of hubris or insanity.
And yet building this technology is one of the best ways that we as a species can advance ourselves — can expand the frontiers of science and technology by equipping ourselves with a tool that can help us think about the greatest challenges our species faces.
But that’s not all. The continued success of our endeavor increases the likelihood that this tool itself becomes independent and capable of even more. We might soon be able to build an AI system that may be smart enough to develop its own successor, thus kicking off a process of recursive self-improvement which would utterly transform the economy and the broader world. The analogy would be a 3D printer company, making a 3D printer which could print its own finer resolution print head, without any outside technology needed. That class of technology has never existed before, and yet I believe this could happen within the next two years, and possibly sooner.
This will generate even more advances of the flavor we’ve just discussed, broaden even further the capabilities of us as people and societies, and further deepen the way in which AI shows up in my life and the lives of others. Coupled with this will be immense change, change of a magnitude that I believe none of us have yet experienced in our lifetimes.
This technology is so powerful that I should clearly state that if it was possible to elegantly slow the development of this technology to give ourselves more time as a species to deal with its immense implications, then that would likely be a good thing. But in the absence of a coordinated, global slowdown, we are left with the current situation: powerful technology being developed at breakneck speed by a variety of actors in a variety of countries, locked in a competition with one another where commercial and geopolitical rivalries are drowning out the larger existential-to-the-species aspects of the technology being built.
This is not an ideal situation, but it is the one we find ourselves in.
The question I am struggling with now is: “how do I get my mind right with living through the singularity?”
I think the best place to start is by talking through in more detail how AI is already changing my life and my world, and seeing what we can learn from that.
PART 2: EXPLORING THE FUTURE WITH AI
AI has already meaningfully changed my life, in ways that are both positive and negative. It is also starting to cause large changes at Anthropic, the AI company that I am a cofounder of. Let’s talk through some of this by returning to the graph we looked at before, but this time by looking at it through the lens of my own usage of the technology.
How the graph feels to me
Another way of viewing this graph is how it has felt to me in terms of my own subjective experience of working with the technology.
In the summer of 2023, I use AI systems to check my work for typos. By November, I am using AI to help me figure out what foods to feed my baby.
In January 2024, I use AI to help me understand my marriage as it has changed with having kids. By June, AI helps me scrape my own newsletter. In August, AI writes me a text adventure game for navigating AGI. In November, I try to re-imagine my job using AI.
In January 2025, I ask AI how to prepare for superintelligence. In February, I use AI to generate codenames for AI projects in my fiction. In March, AI persuades me to attend an art show after I talk to it about how I’m a bit depressed and antisocial. In May, I talk to AI about my own stress and discomfort with the stakes of AI development. In August, AI persuades me to go back to therapy. In November, I use it to research “S-curve” datasets of solar, semiconductors, and space.
In January 2026, AI advises me how to encourage my toddler to read. In March, I track the performance of AI for kernel design across tens of distinct papers. In May, I have AI generate the speech of an AI character in my fiction.
When I think about my own personal experience of AI, it’s that as AI systems have got smarter, they’ve made much deeper inroads into my own life. These days, AI systems figure in my life as deep intellectual partners that ideate with me, as systems that I confide in and discuss my personal life with, and as virtual employees who go and do work for me that I’ve always wanted to do but haven’t had the time, like generating reports on the price of various technologies over time.
But most importantly, I now can use AI systems themselves as a kind of telescope to do the work that is most important to me — trying to understand the future of AI by seeing the contours of overall AI progress. The most amazing part of this is that, to torture the analogy, the lens for the telescope I use here comes from me — specifically, from a hobby I’ve had for the last ten years.
EXPLORING AI VIA SEEDS OF PERSONAL INTEREST
The hobby is called Import AI [readers – it’s this newsletter!]. This newsletter, which is now in its tenth year, is my main hobby outside of work. In the newsletter, I read research papers about AI and I work hard to understand them. Once I feel I understand them, I write a summary and a note on why they matter. Each issue contains a bunch of these, plus a short fictional story where I wrestle with the implications of the technologies I’m learning about.
Recently, I had a revelatory experience. I was putting together data for my post about AI R&D and I simply pointed an AI system at my newsletter archives and asked it to pull out with references all the times I’d covered anything that looked like AI R&D. It did this extremely well and sped up my ability to do some analysis that was core to my essay on RSI.
But more interestingly was what happened next: I asked it to make graphs for me by reading over the references in the newsletter, mostly arXiv papers, and then pulling in the data and compiling it and composing graphs in a nice dashboard which I could then explore.
Then I realized I could convert this thing I’d asked it to do into a repeatable process, a skill. By giving it something of mine that was uniquely mine — my newsletter, my intuition, my taste, I had given it some kernel from which I could grow something much larger. So I made a skill. And then something strange happened: I said to it “go and make 20 more graphs like these”.
It went away and read a few hundred papers and came back with 20 more graphs. As I looked over them I had this thrilling feeling of discovery — though I knew some of these graphs and could have asked it to make them for me, there were also entirely new graphs there tied to papers or benchmarks I’d never seen before. Through this I learned about some new primary source material to read, which I did.
I understand at a bonedeep level just what it takes to make a graph. You read a bunch of papers. You go hunting for common measurements within them. You read the many different caveats in each paper and figure out which metrics are bullshit and which are meaningful. This takes much longer than you can imagine.
Almost ten years ago I co-founded a project called The AI Index at Stanford University whose goal was to produce an annual report about AI progress. I became a co-founder of that project because I ran into some of the academics doing it and realized I had already made the graphs they’d been thinking about: I had a spreadsheet on my computer where I had been diligently assembling a graph relating to progress of various AI systems on Atari games, as well as the imagenet chart, and some machine translation charts. These graphs were a “proof of work” that other humans read as indicative of my passion and my diligence. They knew by the fact I’d made these graphs that I had spent a huge amount of time reading these papers.
I need you to deeply feel how much time goes into this, and then marvel at what it means for an AI system to be able to do it — and not just do it, but do it in a repeatable and generic way, thousands of times faster than me.
Now I have this bottled up skill where I can harness the absurd power of these AI systems to do something for me that I know would take me literally weeks of work. And it can do it for me in minutes. And it can do it for anything. I’m now using this as a means by which I can explore the world of biology, having it generate graphs for me and then picking the ones I find interesting and reading the underlying papers.
But to me, this skill is also me. It is a skill grown out of my own obsession and idiosyncrasies and watching it work feels to me like a miracle because it’s me — but a version of me that runs thousands of times faster and is much much smarter and much more reliable.
There is something deeply empowering and amazing in this. I’ve turned my highly idiosyncratic passion into something that can be distilled and handed to a machine, which can then go and do things on my behalf. And it’s only able to do this because I have been fortunate to have developed this rich, specific hobby, which has relied on repetitive practice and creation over a decade.
This is fundamentally an illustration of how AI can let us “explore the future”. Through this amazing technology I’m able to enhance my own understanding of the world and gain more autonomy and potential for self-direction in relation to my own passions.
It also provides an even greater incentive for me to continue to work on my newsletter, despite the fact machines can obviously do all of it: by working on my newsletter I can continually update some kernel of my own interest and use this as a means by which I can explore the world of superintelligence, and project myself into it.
WHAT IS HAPPENING INSIDE ANTHROPIC?
There are also changes afoot inside Anthropic which speak to the larger changes to come.
Recently, I had the fortune of getting pulled out of the goldfish bowl that is the AI company via something called paternity leave in November of 2025. When I came back in late February, weird stuff had started to take place. While I’d been away, we had released a new LLM, Opus 4.6. I knew this model was good because I’d been playing around with it in my occasional spare time between changing diapers.
But I hadn’t intuited how much it had changed things inside the company: Opus 4.6 had gotten just good enough that my colleagues had started to delegate a lot more work to it. In fact, it had gotten so good that it had completely changed how some people work. Some of them were no longer writing code at all: they were just instantiating this model in tools like Claude Code and setting it free to do tasks for them, and their jobs had become oriented more around managing its work and checking its outputs than doing the work themselves.
In Anthropic, much of the work that needs to get done involves writing software, which is made out of code. This significant increase in the automation of coding has been equivalent to dropping many, many more employees into Anthropic, speeding up our overall pace of development. The result of this has been a massive rise in the amount of code being produced inside Anthropic. This trend started in early 2025 but really accelerated in the last few months. Of course, the majority of code inside the company is now written by Claude. But in addition the volume of code has exploded.
As a consequence, more effort is going into tools for scaling up the amount of Claude-generated code we can confidently ingest and test, and more effort is going into building telemetry systems that give us humans consumable and intuitive ways of reading what this “emergent machine society” inside Anthropic is doing. I am spending more time working with teams on the challenges of observability — Anthropic and the AI platform we operate looks more and more like an ecology filled with agents running around and doing stuff. The task for us now is to figure out how to measure and observe that ecology, and work out what is normal and what is not.
This change maps to a brewing theory among economists: that one consequence of automation via AI is that humans move to figuring out how to validate the outputs and price the operational risks of AI systems. That increasingly seems to me to be what we’re doing inside the company. The more we add AI automation, the more humans move to some “verification layer” that sits atop it. The verification layer sits atop of a much larger “virtual organization” which consists of increasingly large quantities of AI systems working on behalf of humans. This is already showing up inside the company in terms of how we as humans validate and verify AI-created outputs: Claude is now creating not just an increasing amount of code inside Anthropic, but also producing a lot of the analytical documents where people reason about strategic questions.
This means that we’re all figuring out ways to indicate how much of a document is written by Claude and how much of it we endorse. To me, this looks like the formation of a new “trust economy” whereby we find ways to surface interesting qualitative or strategic ideas from Claude, as well as more easily evaluatable technical contributions.
This also led to internal discussions around hiring. How do you hire when you’re in a world where AI systems can do meaningful chunks of your work? Speaking personally, it’s both changed the amount of people we expect we are going to hire in some teams, and it’s also changed the shape of people that we need to hire. We’re now hiring early career people who are extremely well versed in LLMs; people who grew up with the technology, basically. And there are also growing returns at the other end to experience, where the value of very experienced people has gone up because we’re now not so much limited by what a person can do, but rather by what kinds of projects they can imagine doing. It’s also making it possible for us to hire more interdisciplinary people. Where before this always had a cost, because we’d need to invest technical resources to make them productive, it’s now much cheaper because they can just use Claude directly.
We may eventually experience more radical changes when it comes to the scaling of the organization. One early example of this comes from our researchers, where in an experiment on “automated alignment research” a single human was able to effectively run a team of 9 syntheti
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み