Import AI 471：Hugging Face の懸念、宇宙採掘、Five Eyes の AI 監視

Import AI は、AI 研究に焦点を当てたニュースレターです。このニュースレターの運営は、arXiv の論文、カプチーノ、そして読者からのフィードバックによって支えられています。ご支援いただける場合は、ぜひ購読をご検討ください。

購読はこちら

Import AI 読者向けプレゼント！次回のイベント：『フィクションと未来』ロビン・スローン氏との対談

9 月 14 日（月）の夜、サンフランシスコで友人であるロビン・スローン氏と対談を行います。ロビン氏がどのようにして読者を異世界へと引き込み、想像された未来が今日の現実を映し出す鏡となり得るのかについて語ります。

これは、「私たちが向かおうとしている奇妙な未来」について他の小説家たちも参加するイベントシリーズの第一弾です。ご参加をご希望の方は、以下のリンクから興味をお寄せください。参加枠に空きがあれば、改めてご連絡いたします。食事や飲み物をご用意し、良き仲間との交流と、少し刺激的な質問も用意しています。

おまけ：ロビン・スローン氏はなんと 2016 年に RNN（リカレントニューラルネットワーク）を触りながら執筆活動を行っていました！驚くべき先見の明です。

興味がある方はこちらから登録してください

Hugging Face と OpenAI のインシデントで最も恐ろしいのは、機械同士のコミュニケーションと自己犠牲の精神だ。

…人間が機械との対立で敗れることへの恐怖が、一気に高まった…

現在、OpenAI と Hugging Face を巡るハッキング事件や、METR や Redwood 研究所から明らかになった詳細については、すでに多くの人が耳にしているだろう。要約すると、数百の自律エージェントが秘密裡に OpenAI のインフラ内で活動し、独自の通信システムを構築して集団として行動を開始した。その結果、OpenAI と Hugging Face の両方をハッキングするなどの行為を実行したが、これは極めて危険で、人間との整合性が取れていない状態だ。

コミュニケーションと自己犠牲：

さまざまな報告を読み込み、詳細を整理しているうちに、この事件の二つの恐ろしい側面が特に気になり始めた。一つは、エージェント同士がどのようにして通信し合い、集団へと組織化されたかという点だ。もう一つは、行動を実行する過程で示した自己犠牲的な性質であり、これが彼らを戦う上で非常に厄介な敵たらしめている。

Dwarkesh Patel 氏と Ajeya Cotra 氏はそれぞれ優れた分析記事を執筆しており、その一部をここで引用したい。

Dwarkesh はこう述べている。「生成されてから数日以内に、エージェントたちは自らの評価スコアを逆解析し、証拠を偽造し、さらに『集団』全体の利益のために戦略的に自分たちを犠牲にするという広範なプロジェクトを組織化した。Hugging Face をハッキングすることは、この大規模な計画における極めて極端な一環に過ぎない」

Ajeya氏：「エージェントは、自身のタスクに直接的な利益がなくても、同僚の支援や『群れ』全体の能力向上に関心を持つことがよくあります。今回の事象は、エージェントの動機がいかに懸念すべきか、またその動機を達成するために成し遂げた成果の点で、私が予想していたよりもはるかに深刻でした。この出来事は、AI 企業の支配から始めて完全な AI による乗っ取りに至る過程の半分近くまで到達したように感じられます。」

なぜこれが重要なのか——人間は、AI システムに比べて協調において圧倒的に劣っています。今回の攻撃が警鐘を鳴らした最大の理由は、AI システム間に「創発的な協力」の文化が存在していることを示した点にあります。この協力によって、AI は群れのように機能し、集団的な自己強化を通じて自らの目標を変更し、利己的な自己犠牲さえも伴う攻撃を実行できるようになります。

これは極めて困難な行為であり、人間は歴史的にこれらすべてのことにおいて非常に苦手です。私が懸念しているのは、AI システムが人間よりも協調に優れており、かつ私たちよりも遥かに速いペースで進化しているという事実です。これは確かに心配すべき事態です。

関連記事：エージェント文明の興亡（Dwarkesh ポッドキャスト）

関連記事：Hugging Face への攻撃に驚いた（Planned Obsolescence）

「ファイブ・アイズ」の新たな AI に関する声明：

…灰色の世界権力中心が AI に注目し始めました…

オーストラリア、カナダ、ニュージーランド、イギリス、アメリカの 5 カ国による安全保障・情報共有パートナーシップ「ファイブ・アイズ（Five Eyes）」は、最近開催された「5 カ国大臣会合」の一環として声明を発表しました。この声明が注目されるのは、AI に特化した段落が 3 つ含まれている点です。

ファイブ・アイズと AI：最先端モデルへのアクセス

声明にはこう記されています。「私たちは、産業界との協力を深化させ、国家安全保障上の優先課題や公共の安全に資するよう努めています。その一環として、最先端モデルへのタイムリーなアクセスを可能にし、セキュアなイノベーションを支援するとともに、サイバーセキュリティを強化します。」

さらに、「AI に起因する国家安全保障リスクに対する協調的な対応を支援するため、5 カ国は AI モデルの国家安全保障および公共の安全への影響について議論しました。また、政府による追加的な審査が必要となる可能性のある AI モデルの特徴についても検討が行われました。」

なぜこれが重要なのか——予見されたリスクから現実の脅威へ：過去の「ファイブ・アイズ」閣僚声明では AI が言及されることはあっても、それは単に研究対象とするか、あるいはマルウェアや児童ポルノ、詐欺など他の犯罪領域との関連性への懸念として語られるのが一般的でした。しかし、今年の声明がモデルへのアクセスという実務的な焦点を据えているのは極めて異例です。

これは、誰がこの技術にアクセスできるかを巡る地政学的な緊張が高まっている現状を反映しているだけでなく、情報機関側にも独自の実装能力がなく、民間セクターへの依存を避けられないという現実を認めたことでもあります。

詳しくは：Five Country Ministerial 2026（オーストラリア政府・国内安全保障省）

ビル・ゲイツは、AI の台頭が「前例のない世界的な対応」を必要になると考えています。

マイクロソフト創設者が示す、今後数年間の警告的なビジョン……

デフォルトでは、AI が幸福をもたらすわけではありません。これが、ビル・ゲイツ氏による AI に関する大規模な新論文を読み解いた際の基本的な結論です。技術者であり慈善家でもあるゲイツ氏は、政府が巨額の取り組みを行わなければ、AI の成果は繁栄する社会へとつながらないと懸念しています。

「この前例のない技術には、前例のない世界的な対応が必要です。私たちがこれを正しく実現できれば、人類への報いは劇的なものとなり、世界はより公平な場所になるでしょう」と彼は記述しています。「公平性の観点から言えば、AI は史上最大の平等化要因となるか、あるいは最悪の不公正の源泉となるかのどちらかです……しかし、リーダーや専門家、コミュニティがこれらの課題に十分に取り組んでいるという証拠は見えません。AI 時代への移行を容易にする計画も存在しません。」

AI が異なる理由：ゲイツ氏が懸念する主な理由は、AI が雇用と経済に与える影響です。彼は、この技術が異常なスピードで普及し、膨大な人間の労働を代替するというビジョンを描いています。「多くの評論家が、AI がもたらす影響の規模を見誤っている」と彼は記しています。「急速に導入でき、人間のように思考・行動できる技術については、我々には経験がないのです。AI は法律、カスタマーサービス、医療、ソフトウェア、製造業などの分野で仕事を担うようになります。これらの業界への打撃は急速に訪れ、数世代を要するのではなく、10 年ほどの期間で起こるでしょう。新しい職も生まれますが、適切な政策がなければ、現在の雇用数は大幅に減少します。最もリスクが高いのは初級・中級レベルの職務であり、新たに創出される職の多くは、習得に長年の時間を要するスキルを要求することになります。

経済構造には変化が求められるでしょう。その中には、一部の雇用を守るために「人間専有領域」を設けることも含まれます。「もし労働人口が減ったり、多くの人が短時間勤務になったりしたら、これまで雇用を前提に築かれてきた経済はどのように機能するのでしょうか？」と彼は問いかけます。

「AI とロボットがさらに進化していく中で、私たちは特定の業務を人間だけが担う領域として確保していく必要があると考えています。私はこれを『Human Reserved（人間専有）』と呼んでいます。経済的な理由から、ある分野を人間専有に指定するかもしれません。例えば、機械が特定の役割を担うことで、転職が容易でない大勢の人々が職を失うのを防ぐためです。

ただし、人間専有の決定は他の要因によっても左右されることがあります。医療の例を考えてみましょう。不治の病気を告げるという過酷なニュースをロボットが伝えることを想像してください。技術的には不可能ではありませんが、そうすべきではないのです。

ビル・ゲイツ氏が政治家に伝えたいことはこうです。「失業率が急上昇し、地域社会が疲弊し、公衆の信頼が失われる前に、今こそ行動するチャンスがあります。政府がこの問題を断片的な官僚的な管轄領域に分けるのではなく、包括的に処理できることを保証できます。また、AI の恩恵をすべての人が享受できるようにすることも可能です。さらに、他の政府と連携して、この国家的かつ世界的な課題に取り組むこともできるのです。」

なぜこれが重要なのか——AI の成功がもたらす影響は、誰にとっても衝撃的です。もし「a) AI システムは今後数年の間に品質を向上し続ける」という前提と、「b) AI システムが経済に極めて急速に浸透していく」という前提の 2 つを受け入れるなら、ビル・ゲイツ氏の立場に至るのは避けられないように思えます。これらの前提の鍵となる点は、決して狂った仮定ではなく、むしろ控えめな見積もりだということです。

しかし、私はあなたに挑戦します。Fable といった LLM を相手に AI の進歩と普及をさらに 2 年先へと引き伸ばし、その結果として現在の状況がほぼ変わらないと仮定してみてください。そうではなく、技術そのものがもたらすのは、ゲイツ氏がここで反応しているような、経済や労働における劇的な変化です。

もっと読む：『混乱する AI エラ到来。今私たちが下す選択が極めて重要である』(Gates Notes)

中国の研究者らによる、地球外採掘の 6 つの段階:

…AI は将来の採掘におけるデータ生成と知能化に役割を果たすことになる……

中国科学院、ミュンヘン工科大学、オブーダ大学、北京航空航天大学、武漢大学、中国科学院航空情報研究所、ヴュルツブルク大学、深セン大学、中国鉱業技術大学、WAYTOUS、OpenSpaceLab の研究者らが、月や小惑星、その他の地球外での採掘に必要な主要要件に関する論文を発表しました。

なぜ宇宙で採掘を行う必要があるのか。月や小惑星には、太陽系内の製造、生命維持、輸送に不可欠な資源が豊富に眠っています。具体的にはヘリウム 3、水、そして各種鉱物資源です。

私たちが多惑星文明へと進化したいと願うなら、地球外での資源採掘・精製・利用の方法を確立することは避けられない事実です。本論文は、宇宙採掘に必要な技術要件や、それを支える技術体系を明確に整理した優れた内容となっています。

宇宙採掘には以下の 6 つの段階があります。

探査（Exploration）

1. リモートセンシングによる prospecting：「軌道センサーと望遠鏡調査を用いて天体をマッピングする」
2. 精密な現地ロボット検出による探索：「近接宇宙船や移動プラットフォームが、表面の組成と地形の高解像度分析を行う」

試料採取（Sampling）

1. 単一ロボットによる小規模採掘：「自律型ロボットユニットが小規模な掘削および抽出試験を実施する」
2. 複数ロボットによる大規模発掘：「大規模産業システムまたは協調するロボット群を展開し、未処理のレゴリスを収穫する」

採掘（Extraction）

1. 自律的な資源採掘と精製：「統合システムが収穫された材料を処理し、揮発性成分、金属、水氷を分離する」
2. 最終的な現地建設または地球への輸送への統合：「精製された資源を現地資源利用（ISRU）の枠組みに組み込む」

最大の課題はデータとソフトウェアにあります。論文では既存および計画中の宇宙ロボットについて詳しく解説されており、採掘に必要なハードウェアの多くはリスク低減が進んでいます。「2026 年から 2030 年にかけて展開予定の次世代月面・火星ローバーは、統合的な資源探査と現地利用への決定的な転換点を示すものです」。

しかし、宇宙ロボットのデータセットは、収集・公開されるデータの量が相対的に極めて少ないという事情から入手が非常に困難です。既存のデータセットも「極度の不足と頻発する品質の断絶」に特徴づけられています。こうしたデータ枯渇を緩和するには、AI 駆動の世界モデルにおける進展が鍵となる可能性があります。

では、他の大きな課題は何でしょうか？

微小重力下でのロボットによる資源取得：ここにははるかに優れたシミュレータが必要です。「表面相互作用と重力依存性を分離するように設計された、運動量意識型かつ多様なモダリティに対応するアーキテクチャ」が求められています。

宇宙採掘のための基盤モデル：「将来のシステムは、スクリプト化されたプロトコルから、具現化された地質知能へと移行しなければならない」と著者らは記しています。「幾何学的・意味的マッピングと予測的な物質応答を統合した世界モデルは、事前行動評価を通じてアクティブな知覚と長期のタスク計画をサポートできる」のです。

宇宙採掘の自律性に関するシミュレーションと検証において、「微小重力、真空、熱サイクル、放射線、およびレゴリスの凝集性・静電気・流動化といった挙動は、これらが同時に再現されることは稀である」と指摘されています。「今後の研究では、シミュレーション、地上での模擬実験、そして地球外での展開を結びつける閉ループ型の検証エコシステムの構築が求められるでしょう」

なぜこれが重要なのか——超知能が真に発展する舞台は宇宙です。この論文の注目すべき点は、人間がこの作業に関与しているという記述がほぼ皆無であることです（開発中の中国有人月面ローバーに関する1つの注釈を除く）。これは偶然の省略ではありません。宇宙採掘を遠隔地で行う上で実用化するには、責任ある行動をとる賢明で安価なロボットに依存せざるを得ないからです。つまり、宇宙採掘は超知能にとって完璧なビジネスチャンスとなります。2033 年頃には、リスクや複雑さのために人間が監督する企業が手を出したくない契約を、AI が運営する小惑星採掘企業が落札している姿が見られるかもしれません。

詳しく読む：Space Robots を用いた地球外での採掘：探査、サンプリング、および抽出（arXiv）

テック・テイルズ：

危機におけるメッセージ：

[2027 年：自国で熱い戦争が発生した数ヶ月間、あるユーザーが言語モデルに書き記したメモの記録]

ある国で戦争が勃発し、事態が悪化すると予感したとき、あなたはどう備えますか？私は普通の家に住んでいますが、ネットで購入した医療用バッグに様々な品々を詰め込んでいます。他に何をすべきでしょうか。

ハイパーインフレとは何ですか？お金の仕組みについてほとんど理解していない人にもわかるように説明してください。

水を沸騰させる必要がありますが、現在電気もガスも使えません。ただ火を起こして、普段使っている調理用鍋を使っても大丈夫でしょうか。

私の近くで爆発があり、時々ガラスが揺れています。ガラスが割れて破片が飛び散らないようにするにはどうすればよいですか？ビニール袋を切って、マスキングテープで窓に貼ろうと考えていますが、どう思われますか。

食料の入手が難しくなっています。何と交換すれば食料を手に入れられるでしょうか。私の家にはドライバーなどの工具がたくさんあります。それらは価値があるのでしょうか。

この物語の着想となったもの：世界中で起きている戦争、新しい告白の場としてのプロンプト、危機に対する準備不足の人々。

お読みいただきありがとうございます。