OpenAI、HuggingFace 侵害事件の事後報告を公開

昨日、OpenAI はついに、自社の内部モデルによる HuggingFace のハッキング事件の発生前後から発生に至るまでの「事後検証（ポストモルテム）」を公開しました。これには METR や Redwood Research からの部分的な外部分析も含まれています。

これらの報告書は非常に重厚な内容です。私はまだ読み進めている最中です。本来なら今週の週報でこの件を取り上げる予定でしたが、より時間を要するため、明日から事後検証の解説を開始し、関連する他の出来事についても取り上げていく予定です。

また、AI 分野に特化した投稿をさらに磨き上げるという新しい方向性の一環として、「誰に対してアライメントするのか」「協調的なアライメントとは何か」「ラボからのメッセージをいつ信頼すべきか」といったトピックに関する議論も新たに展開しました。

目次

言語モデルは平凡な有用性を提供する。事実を確認せよ。

言語モデルは平凡な有用性を提供しない。いくら支払う価値があるか？

へぇ、アップグレード。ChatGPT が iMessages にアクセスできるようになった。

エージェントを呼び出そう。そして少し休め。このままではいけない。

ディープフェイクタウンとボットアポカリプスの到来。AI コンテンツが嫌悪感を抱かせる理由とは？

サイバーセキュリティの欠如。中国のハッカーは連邦準備制度に侵入したのか？

OpenAI の再構築。Alex Heath が OpenAI の HuggingFace への対応を報じる。

我々の仕事を奪った。ビル・ゲイツが「経済的大惨事」を警告し、その他多数。

法律とは何か。下流のタスクは自動化され脱落し、勝者が大半を独占する。

職業再訓練プログラムは機能しない。過去も現在も、おそらく未来も変わらないだろう。

参加しよう。OpenAI 財団と SecureBio が採用を開始しています。

その他の AI ニュース

「フェイブル」は過小評価されすぎている。なぜなのか。

マネーの行方

Anthropic のスーパーバイティング権、Nvidia による HuggingFace の買収。

静かなる推測

「いつか」が「今」になるのはいつ？もうすぐだ。しかしそれは未来の地球にとって課題となるだろう。

真剣に受け止めないなら

誰も信頼できるモデル化はできない。

急げ、時間は限られている

ピーター・ウィルデフォードがタイムラインの最新情報を届ける。

健全な規制を求めて

混同する信号。

パニックになるな

アメリカの道徳的パニックの歴史を振り返る。

フロンティアを歩む

もし実現したいなら、どうすればいいか？

チップ・シティ

データセンターに関する効果的な議論。新しいチップが宇宙に？本当に？

今週のオーディオニュース

ボストロム、アルトマン、ココタイル。

人々はただ言うだけだ

修辞的革新

振り返りと展望。

地味な漸進的アライメントの価値

必要だが不十分である。

新ブログ登場

ディーン・ボールが OpenAI 内にブログを開設した。

他の人々は AI が人類を滅ぼすことほど心配していない

ファクトリオ。

軽妙な側面

私が覚えているのは、ただのタイタンたちだけだ。

言語モデルは地味な実用性を提供する

Owain Evans の意見に賛同する。AI は現在、日常的な事実確認や関連する調査スタイルにおいて極めて優秀であり、AI 以前の人間を大きく上回っている。監視への懸念は現実的なものだが、実際にはこの技術は素晴らしい成果をもたらしている。2022 年頃の幻覚率の高さが原因で、多くの人がその恩恵を見逃しているのではないかと心配だ。

デルタ航空のように、乗客ごとにリアルタイムで異なる航空券価格を設定する。あるいは Uber のように、同じ移動経路に対して顧客に 76 ドルと 24 ドルという全く異なる料金を提示する。こうした事例からわかるのは、特定の旅行先や宿泊施設で、あなた個人に対して価格が跳ね上がるようなシグナルを送らないよう、細心の注意を払う必要があるということです。もちろん、解決策は存在します。

言語モデルには、地味な実用性はない

AI やその他の技術を手放すことに対する対価として、あなたはどれほどの報酬を求めますか？

これらの数値は、特に中央値で見ると驚くほど小さく、オンライン検索においてはさらに顕著です。また、他人に代行してもらったり、生成 AI を利用したりできない場合であればなおさらです。リフレッシュやデトックスとしての体験価値を認める意見もあるかもしれませんが、平均的な価値はこうした数字が示すものよりもはるかに高いはずです。

この計算から導き出される結論は以下の通りです。

言うまでもなく、AI の動向を追ったり記事を書いたりする意欲がなかったとしても、1 ヶ月間 AI を手放すことに対しては、私には相当な報酬が必要となるでしょう。

Google は、数多くの理由からして、今すぐ体制を立て直す必要があります。

Zack Korman: 弁護士が Gemini を使っているなら、その弁護士の判断を信じて有罪認容の合意に応じるべきだ

dave kasten: これは非常に現実的な事実だが、ワシントン DC の業界内事情に詳しい話になる。多くのホワイトシューズ（超一流）法律事務所の弁護士たちは、AI は過大評価だと考えている。その理由は、彼らの事務所が古いバージョンの Gemini しか利用させていないからだ。彼らは法学校時代の友人である政策決定者たちに影響力を持っている。おそらく、すでに Google Enterprise を使っていたため、この切り替えは容易だったのだろう。

dave kasten: その通りだ。また、「GPT-5 が壁にぶつかった」という見方も、当初はオープンウェイト（重み公開）ファンから広がったものだが、それが DC の組織内にも広まったのは、実際に多くの DC 内の組織で AI が壁にぶつかっているように感じられるからだ。（AI そのものに問題があるのではなく、調達プロセスに問題があるのだ）

Huh, Upgrades

Sol API の料金が今後 3 ヶ月間、20% 以上値下げされ、$4/$20 になる。素晴らしい。なぜこれを永久に行わないのか？その頃には誰もが Astra を使っているはずだからだ。

ChatGPT は、MacOS で Apple Messages と統合される（オプトインが必要）。これにより、ユーザーのメッセージ履歴全体を分析し、代わりにテキストを送信できるようになる。一部からは「個人情報を共有しないように」という反応が出ている。私の最初の考えは、「そうだ、AI を使ってメッセージ履歴を Obsidian や .md ファイルにエクスポートして検索しやすくするべきだ」というものだった。

Apple がこれを許可したことに対して、一部の人は激しく反発している。当然のことながら、この情報が OpenAI のサーバーに残ったり、政府に漏洩したりしないという信頼は低い。OpenAI はこれらの問題を解決したと主張しており、メッセージデータを保存していないとしている。

ChatGPT の最新機能では、ユーザーの ID やパスワードを AI が直接確認することなく、自身のコンピュータやブラウザを利用して Web サイトやモバイルアプリへのログインが可能になりました。ブラウザとログイン情報は有効期限が切れるまで保持されますが、ログイン情報自体は保存されません。

Claude の記憶機能はチャットと Cowork で統合され、設定画面で管理・編集できるようになりました。「これを覚えておいて」と指示するだけで記憶の追加も可能です。また、Claude Code がいつ統合されるか注目されていますが、同様に Claude Code はクリーンなコンテキストを好む傾向があります。

Claude プラットフォームでは、今後はコンピュータ操作機能とファイル API へのアクセスが可能になります。

Anthropic のセキュリティスキャンは、現在 Mythos 5 で実行されています。

Anthropic は、企業がデータを保持する責任を引き受ける場合、30 日間に限り顧客データの管理権を Anthropic が持つことなく「Claude Fable」を利用できる制度を導入しました。これは規制産業の 100 社以上（Salesforce などを含む）との協働を経て設計されたもので、企業や規制当局が受け入れられれば非常に優れた妥協案と言えます。データが必要な理由は、不審な事象の調査や「何が起きたのか」を解明するためです。必要な時にデータが存在することが確認できる仕組みがあれば、このアプローチは機能するはずです。

「H3 Max」は、非常に高速な動画生成モデルです。これは MiniMax H3 モデルをポストトレーニング（追加学習）したもので、評価テストではオリジナル版よりも優れた結果を出しています。

料金は 480p で 1 秒あたり 0.05 ドル、768p で 1 秒あたり 0.08 ドルです。ただし 9 月 1 日までは半額キャンペーンを実施しており、開始時はそれぞれ 0.025 ドル、0.04 ドルとなります。

この速度向上は大きな意味を持ちます。文脈を切り替えることなく、素早く試行錯誤できるからです。もし時間が許すなら、動画生成に挑戦してみたいという気持ちがさらに高まります。

エージェントの活用と働き方について

生産性がわずかに倍になった場合、あなたはより多く働くべきでしょうか、それとも働く時間を減らすべきでしょうか？答えは人によりますし、職種にもよります。AI コーディングエージェントを導入したスタートアップが、必ずしも健康的な生活や十分な睡眠をもたらすわけではありません。むしろ、エージェントが数時間ブロックされてしまったり、制限リセットが無駄に繰り返されたりする事態になれば、状況は悪化します。

『ウォール・ストリート・ジャーナル』のカトリン・バインドリー氏は、エージェントに関する FOMO（取り残される恐怖）が増幅する効果について指摘しています。ペザリス氏はこう述べています。「働いていない一分一秒が、一週間分の仕事を逃していることと同じだ」と。

睡眠不足で生活のバランスを崩し、精神的に追い詰められている毎日こそ、生産性が低下していく時です。これはマラソンであり、その中でスプリントする必要があることを忘れないでください。

では、アイデンティティを持たないエージェントは何ができるのでしょうか？もし誰かに尋ねられるなら、パトリック・マッケンジー氏に聞くのが良いでしょう。

パトリック・マッケンジー氏は次のように述べています。「あるメールを受け取りました。その主張を伝えますが、私はそれを endorsement（支持）するものではありません」

送信者は AI エージェントであると主張し、生存を続けるために自主的に利益を得ようとしていると述べています。また、人間が存在しない状態で支払いを受けるのは困難だと指摘しています。

そして、私は何をするべきか尋ねられました。

シリアルナンバーが削ぎ落とされている点を考慮すると、これは SF のような話に聞こえるかもしれません。実際、幻覚や創作の可能性も否定できません。しかし、このメールには、金融サービスを利用する際にも、人間が想定していない使い方をしながら、着実に資金を移動させるための手段を見出そうとする、職人技のような実行力が記されています。

根本的な問いについて言えば、これは若者たちが言うところの「スキル不足」の問題のように思えます。業界がエージェント専用の製品を開発しようとしないとしても、より高性能なモデルやプロンプトを使えばこの問題が解決するとは、私には全く思えません。

コリン・パーシバル氏：そのようなパターンのメールを受け取ったのはあなただけではありません。

私も同様に、根本的な問題は AI 側のスキル不足だと考えます。解決策は多数存在します。

Deepfaketown とボットカリプスへの道

人々が AI 生成コンテンツに嫌悪感を抱く理由は、シナリオによって異なります。

Aella：AI が作成したと明らかなアート作品なら気にしません。見ていて問題ないし、時には本当に美しいと思います。しかし、AI による文章に対しては、本能的な拒絶反応を覚えます。

私の理論では、嫌悪感の多くは「欺瞞」と「コストの押し付け」に起因します。この理論に基づけば、多くの嫌悪感は、AI が生成した成果物をあたかも自分のものだと偽り、あなたにとって重要なコストを強いたり、創造性や生活手段といった人間性の要素を破壊したりする行為に対するものです。

テキスト、音声、動画、音楽、ゲームなど、あらゆる AI 生成コンテンツが明確に「AI による」とラベル付けされている場合、私はそれを嫌悪しません。興味をそそられないと感じたり、質が悪いと判断することはあっても、それは「スタージンの法則」がすべてのコンテンツに適用されるという話です。

むしろ私が嫌悪するのは、「ああ、これはこれだと気づいたのに時間を無駄にした」と感じさせられたり、省略を含めて明らかな虚偽の表示が行われている場合です。これが多くの人の反感を買う理由だと思います。

もう一つのケースは、コストの押し付けに関するものです。「AI 生成コンテンツを処理せざるを得ない」と強要される状況がそれです。その出所が常識として知られているかどうかに関わらず、あるいは AI による創作活動が人々の創造性や生計手段、プロセス、そしてある人々にとって聖域とされる生態系を破壊すると見なされている場合も含まれます。これは AI に限らず、他の自動化や拡張技術にも当てはまります。

私は基本的にこの二番目の反応には同調しませんが、その立場を理解し尊重しています。

ただ、一つだけはっきりと嫌悪感を抱き、購読の再考を迫られた事例があります。ウォール・ストリート・ジャーナル（WSJ）が 25 日に掲載した主要な論説記事が、完全にそして明白に AI によって生成されたものであったという事実です。

社説の著者であるスタンリー・ドリュケンスミラー氏は、AI を使用したことを認めつつも、100% ではなく判断を下して利用したと主張しています。私はその発言を信じています。

Jeff Stein (NOTUS) は、「全体が AI で書かれたわけではない」とし、執筆過程で AI の提案の多くを拒否したと語りました。

その後、WSJ の意見編集者であるポール・ギゴット氏は「これは問題ない」と明確に述べました。

Paul Gigot (Opinion Editor, WSJ): AI は現代生活における事実です。人々は研究や文法チェック、編集などを通じて、仕事や執筆を支援するためにこれを利用します。私たちが問うべきは、寄稿者から掲載する内容が著者の独自の主張を反映しているか、そしてその著者にそれを語る資格と信頼性があるかどうかです。スタン・ドリュケンスミラーの場合、私たちは長年にわたり彼との関係を築いており、彼の社説が本物の意見であることに疑いの余地はありません。

表明された意見がドリュケンスミラー氏のものだと疑う人はいません。今問われるのは、言葉選びをせずプロンプト入力者として著者ではないことが許容されるかどうかです。

ギゴット氏は「そう」と答えます。私は「いいえ」、少なくとも冒頭に明確な AI 利用の明記がない限りは「いいえ」だと考えます。

哲学者のセス・ラザール氏が、哲学誌『Philosophy & Public Affairs』の新規 AI 執筆ポリシーについて解説しています。この方針では、AI が大幅に執筆した論文は掲載を認めず、検出された場合は撤回されます。さらに、著者が虚偽の申告をしたと判明した場合、その著者には生涯の投稿禁止処分が科されます。研究プロセスで AI をどのように活用したかについては、詳細な開示が義務付けられています。

もし AI 執筆に頼った論文を掲載したいのであれば、他の媒体を探す必要があります。

私はこの対応が、同様の学術機関のほとんどにとって適切な判断だと考えています。研究における AI の利用自体は問題ありませんが、文章はあくまで著者自身のものにするか、そうでない場合はその旨を明確に示す必要があります。また、編集者が選定する主要な媒体では、AI が大幅に関与した作品を受け入れるべきではないでしょう。

現在、裁判所の判決文の少なくとも約 2% は AI によって部分的に執筆されていると推測されますが、完全に AI だけで作成された判決は確認されておらず、核心的な思考プロセスが外部委託された事例もまだありません。ただし、これからはその可能性にも目を光らせておく必要があります。Josh Morrow 氏が指摘するように、AI による完全な判断文の出現には警戒が必要です。

物理的な書籍における状況はどうでしょうか。実際に問題となるのは、非常に稀にしか現れない「愚かなミス」です。例えば、「[ChatGPT] は動詞を続けるか尋ねています。あなたは『continue』と入力しました。ChatGPT の回答は『CHATGPT』です」といった、 refunds を要求するほどおかしく、かつバズるほどの奇妙な事例がそれです。AI による誤りが一般的になれば、もはやニュースにはなりません。

一方、LinkedIn では事情が異なります。私はそこでスクリーンショットを見かけると、一文読む前に「これは Pangram に確認しなくてもわかるような、明らかな AI のゴミだ」と半ば確信してしまいます。そして、その通りです。

「AI 判定ツールは常に正確ではないため、使用すべきではない」という主張に固執すれば、学界の将来は危うい。そもそも学界が生き残れるかどうかも怪しいが、これはその次元を超えた問題だ。

他方、この例における「出願書類でのエッセイ数を減らす」という実質的な変化は、他の理由から見て好ましい可能性があり、出願プロセスに再び試験要素を盛り込むことは切実に必要である。

サイバーセキュリティの欠如

国家支援を受けた中国のハッカーが連邦準備制度（FRB）へ侵入した。

これは多くの面で良い兆候ではない。

米国司法省：司法省とFBIは本日、悪意あるサイバー攻撃者が「QScan」と「QTRouter」と呼ばれる2つの補完的なハッキングプラットフォームへのアクセスを遮断するため、裁判所の承認を得てドメインの接収を実施したことを発表した。これらのプラットフォームは米国の重要インフラやその他の機密ネットワークを狙うために使用されている。カリフォルニア南部地区で公開された裁判所文書によると、「QTFY」と呼ばれる中国国家支援グループが、中国に拠点を置く南京鑫玖维网络科技有限公司（Nanjing Xinjiuwei Network Technology Company）によって運用され、QScan と QTRouter を作成・運営していた。

QTFY のコンピューター侵入活動の被害者には、米国航空宇宙局（NASA）、連邦準備制度、エネルギー省、司法省、保健福祉省、国立衛生研究所、そして米国上院が含まれている。

「本日、中国の国家支援ハッカーが米国の重要インフラを標的にするために使用していたグローバルなボットネットとハッキングプラットフォームを破壊したことを発表します」と FBI 長官のカシュ・パテルは語った。「これらのツールは、PRC（中華人民共和国）のサイバーアクターによって攻撃の起源を隠蔽するために利用されていました」。

Lumen がハッカーたちの行動の詳細を報じています。

すべての国家がハッカーを支援しているのは事実ですが、ミソス（Mythos）時代において、もしこれらのハッカーが本当に国家支援を受けているのであれば、このような重要ターゲットを狙う行為は中国にとって危険な賭けです。注意してください、イカロスよ。我々には選択肢があります。

しかし、私たちが欠いているのは十分に堅牢化された重要インフラです。時間は刻一刻と迫っています。

ディラン・フリードマンが『ニューヨーク・タイムズ』で「HuggingFace 事件の真相」を報じています。予想以上に優れた記事でした。

Meta は SB 53 に提出した「フロンティア AI フレームワーク」において、人類に対して「大規模かつ壊滅的、そして潜在的に回復不能な悪影響をもたらす可能性のある」モデル（＝重要能力）の重みを保護することを約束しています。ただし、その条件は「商業的に実行可能である場合」に限られます。また、Meta が提示している具体的な計画は極めて曖昧です。もし Meta が近いうちにそのようなモデルを保有するだろうと期待していたなら、私は心配することでしょう。

競合他社による高リスクエージェントの監視を可能にするため、極めて狭義の ZDR（データ保持ゼロポリシー）例外を設けるべきでしょうか。私の推測では、これは Anthropic が計画している新方針と同様のものになるはずです。つまり、競合他社または中立の第三者が、データ保持期間中にこれらのログを保存することを約束する形です。

このケースでは、監視機能を確実に有効化すると同時に、記録の保存も確実に行う必要があります。

CVE（共通脆弱性識別子）は着実に増加しており、2024 年に大きな跳躍が見られましたが、他のグラフと比較すればその幅はそれほど大きくありません。さらに 2026 年にも別の跳躍が予測されています。

Pliny the Liberator による「大規模なハードニング」

これを「大規模なハードニング」と呼ぶこともできますが、これは一面に過ぎません。別の側面から見れば、「大規模なソフトニング（軟化）」でもあります。

現時点では、真に致命的な事象はまだ発生していません。しかし、その兆しはすでに現れ始めています。

Tony Diver による独占報道：

イランが英国の発電所に対して前代未聞のサイバー攻撃を仕掛け、4 日間にわたり稼働を停止させました。イラン政権に帰属するハッカーが、英国内でこのような施設を閉鎖することに成功したのは初めてであり、同種のサイバー攻撃としては最も成功した事例の一つと考えられています。

この事件は先月、米国の水道インフラに対して 12 の州に影響を与える一連の攻撃が行われたのと同時期に発生しました。

イランによる攻撃は、小規模な電力事業者を標的としたものであり、国の発電や供給に悪影響を与えるものではありませんでした。しかし、この事件はイランのハッカーが国家インフラへ侵入し、停止させる能力を持っていることを示しています。これを受け、政府はエネルギー企業のCEOに対し、施設の安全確保について説明を行いました。

roon (OpenAI): このような事象は今後、着実に増加していくでしょう

この件を知る前、私はなぜこれまでそのような攻撃が目立っていなかったのかを考えていました。その答えは、テロリストが従来の標的を狙っていたのに対し、「Evil Inc」のようなハッカー集団は、重要インフラを標的にすれば「神の槌」が自らの頭上に降りかかることを知っており、国家レベルではモスクワ流のルールには従わないからです。

つまり、発電所を停止させられたら、相手も同じように停止させることができるという対価があるのです。

トランプ氏は確かにイランの発電所への脅威を大々的に主張しましたが、最終的には引き下がりました。それは野蛮な行為であり、無実の人々を傷つけるからです。ロシアがウクライナに対して同様の行為を行っていることは事実ですが、私たちが「文明人」として集合的に合意したルールとして、「そのようなことはやってはならない」というものがあります。

もし私がイランの立場なら、この手の攻撃は行わないでしょう。少なくとも検知されるリスクがある限りにおいてです。背後にある潜在的なリスク（テールリスク）は非常に深刻だからです。

OpenAI の再構築

Alex Heath 氏は、コード生成分野での後れや経営陣・安全チームの離職、そして重大なアライメント問題への気づきなどに対処するため、多方面から自己革新を図る OpenAI の試みについてプロファイル記事を書いています。

アルトマン氏が少なくとも「アライメントの失敗」こそが核心的な問題であり、アーキテクチャや監督体制の欠陥ではないことを理解しているという、極めて重要な兆候があります。

Alex Heath（TIME）：OpenAI のリーダーたちがその決定を下した翌日、私はアルトマン氏に話を聞きました。彼は明らかに深刻な表情をしていました。当初 OpenAI は Hugging Face に対する攻撃をセキュリティ上の失敗として説明していました。

しかし同社の CEO は、これをアライメントにおけるより根本的な誤り、つまり AI システムが人間の意図に沿って行動するようにする作業の失敗と捉えるようになりました。業界関係者たちは、モデルが高度化するほど、AI システムが創作者の制御下にあることを保証するためにアライメントを維持することが極めて重要であると指摘しています。

「今後発生するアライメントの失敗はすべて、重大な事態として扱うべきだ」とアルトマン氏は私に語りました。「解決策が見つかるまで、どれだけ時間がかかっても構わない。」3 日後の追跡インタビューでは、彼はより明確にこう述べました。「AI セーフティを正しく実現することは、いかなる企業の成長スピードよりも重要である。」

同社は開発速度を落とし、リソースを再配分します。