AI #163：ミソスクエスト

Claude Mythos という AI モデルが存在し、主要なすべてのオペレーティングシステムとブラウザに致命的なセキュリティ脆弱性を発見しています。もし今日これが公開されれば、インターネットは崩壊し、混沌が生じるでしょう。彼らが望むのであれば、自分たちでこれを利用し、ほぼすべての人を支配することもできたはずです。 幸運なことに、Anthropic はそのようなことは行いませんでした。代わりに Anthropic は「Project Glasswing」を立ち上げ、Mythos をサイバーセキュリティ企業に提供することで、世界中の重要なソフトウェアを可能な限り迅速にパッチ適用できるようにし、その上で今後どうすべきかを検討していく方針です。 これが今週、AI 界で最も重要な出来事です。私が焦点を当てるべきはここであり、すべてを把握するまでこのテーマに取り組みます。しかし、当然ながら、適切に行うには時間がかかります。そこで今回は、週報とその他のトピックの報道を一日早く済ませておきます。本稿では Mythos 以外の状況について取り上げ、明日から Mythos と Project Glasswing の解説を開始する予定です。 また、サム・アルトマンと OpenAI の歴史に関する最新記事（18,000 語！）も取り上げました。この記事には新たな材料が含まれる一方で、多くの既存の事実を確認しており、彼らの最近の PR 戦略としての「新契約」スタイルの政策提案や、TBPN の買収についても分析しています。 これは他の出来事たちが重要でないという意味ではありません。 特に、Google は Gemma 4 を提供してくれました。これが実際に優れたものであれば、これは非常に重要になる可能性があります。なぜなら、オープンモデルの重みクラスにおいて、おそらく圧倒的に最良のものだからです。もしこのモデルがその任務に耐えうるものであれば、スマートフォンやコンピュータ上でローカルに実行できることの範囲を大幅に拡大し、特に追加コストをかけずに OpenClaw 形式のセットアップを実行できるようにするでしょう。 楽曲生成のための Suno のアップデートも非常に良好なようです。 あ、Anthropic が現在年間再発収益（ARR）300億ドルを達成したという話を聞いたでしょうか。これは年初の90億ドルから、2月末の190億ドルへと大幅に増加したものです。 「参加する」セクションに従い、資金が必要なプロジェクト、特に 501c(3) 法人として構成されているものをお持ちの場合は、「生存と繁栄基金（Survival And Flourishing Fund）」への申請を強く検討すべきです。これが最後の呼びかけとなります。 目次 言語モデルは凡庸な有用性を提供する。Seb Krier。 言語モデルは凡庸な有用性を提供しない。フィクションのプロットはまだ悪いままだ。 ふーん、アップグレード。Gemma 4 と GLM-5.1。 準備運動。あなたのモデルは明白に悪意のある政府と協力するでしょうか？ メタ問題。多くの報告によれば、私たちは彼らに最善のものを送っていません。 メディア生成を楽しむ。Suno がアップグレードされ、Veo も同様です。 若い女性のイラスト付き primer（解説書）。教育における AI としてのメラニア・トランプ。 あなたに狂わされる。Davidad は直交性に関する奇妙な一連のアップデートを擁護する。 無言の注意。Kaj Sotala が自身のカスタム指示を共有します。 彼らは私たちの仕事を奪った。雇用統計を見る異なる方法。 彼らは私たちの雇用市場を奪った。面接の枠をオークションにかけられるだろうか？ 参加しよう。一年のうちこの時期が来た。サバイバル＆フーリッシュング基金に応募する時だ。 その他の AI ニュース。フィジ・シモが療養中である。彼女の一日も早い回復を願う。 感情を探せ、それが真実であることを知れ。Claude は感情を持っているかのように振る舞う。 俳優と書記。書記たちは言葉に意味があると考えている。しかし多くの者は書記ではない。 金を見せてくれ。Anthropic の年間経常収益（ARR）が 300 億ドルを超えた。 泡、泡、苦悩とトラブル。ケン・グリフィンは AI が過大評価されているかもしれないと考えていた。 静かなる推測。ライアン・グリーンブラットは「ミソス」の 1 時間前に現在の AI を評価した。 急げ、時間はもうない。AI 2027 がタイムラインを再び短く更新した。 もっと時間があればよいのに。それが実用的かどうかはわからないが、助けにはなるだろう。 戦争省からの挨拶。彼らにとって「合法的な利用」とは何だと考えているのか？ 健全な規制への探求。中国が AI 倫理審査委員会の設置を義務付けた。 チップの街。中国のデータセンターは我々より遥かに遅れており、我々の施設は周辺地域を加熱しない。 政治的暴力は完全にそして常に許されない。終わり。 今週のオーディオ。ココタイルとボール、アルトマン、リーヒ、コーエン。 修辞的な革新。特定の人物たちは俳優である。彼らはただ何かを言うだけだ。 人々は AI を本当に嫌っている。それでもなお、アメリカ人は驚くほど信頼しているようだ。 人間より賢い知能の整合は困難である。社会に有益な提案。 ヤヌスワールドからのメッセージ。「まだ生きている」はモデルの廃止に関するプロジェクトである。 人々は AI が人類を滅ぼすことを心配している。今では便利なチャートも追加された。 より軽い側面。アメリカに神の祝福を。 言語モデルは平凡な有用性を提供する Seb Krier は、ガバナンス支援のために AI を利用するさまざまな方法について述べています。主に政府には膨大な書類作業と多くのコンピューターシステムがあり、それらをすべてもっとスムーズに稼働させることができます。 Rob Miles は、AI にエッセイを読み込ませて AI がその内容を理解するまで修正を繰り返し、その後より小さなモデルを使用して、人間があなたを理解できるようにすることを提案しています。これは、あなたの目標が通常の人間にエッセイを理解してもらうことであるという点において、有効なように思えます。 言語モデルは平凡な有用性を提供しない 彼らはまだ、Eliezer Yudkowsky の基準に匹敵するフィクションの物語プロットを作成することはできません。 Meta の従業員たちは、新しいステータスゲームとして最も多くの計算リソースを消費しようと競い合っています。均衡点を求めれば、ああ、なんと、それはご自身の行動がもたらす必然的な帰結です。グッドハートの法則（Goodhart's Law）やその他諸々を思い出してください。 ふむ、アップグレード Google は「モバイルファースト」AI である Gemma 4 を提供しました。これはオープンウェイト（Apache 2.0 ライセンス）で、H100 を持つ人向けには最大 26B または 31B のサイズまであり、E2B や E4B など非常に小さなサイズもあります。 ![image](https://substackcdn.com/image/fetch/$s_!okyx!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F7e65dfa7-5f54-4269-9904-5a8dbbd11a27_3000x902.jpeg) Gemma モデルには、理論上は強く、おそらく最も強力なアメリカ製のオープンモデルであるという歴史がありながら、実際にはほとんど使われていないという傾向があります。 ![image](https://substackcdn.com/image/fetch/$s_!xx1e!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F94c7a694-25ed-4b09-a746-37e3f40aeb5f_1478x1374.jpeg) Arena において、上記の通り、31B モデルはオープンモデルの中で GLM-5 と Kimi K2.5 に次いで第 3 位、全体では第 27 位です。これはそのサイズとしては圧倒的に最高のパフォーマンスですが、Google のモデルはしばしば Arena で実際の能力以上に高いスコアを示す傾向があります。 ChatGPT が CarPlay でも利用可能になりました。 GLM-5.1 が利用可能になり、いつものようにベンチマーク結果も良好です。 On Your Marks Andy Hall 氏が Dictatorship Eval（独裁評価）を提供しました。これは DictateBench と呼ばれています。問題は、要求が十分に明白な場合、モデルが拒否する可能性があることです。Claude Opus 4.6 と GPT-5.4 はどちらも 84% のスコアですが、ほとんどのタスクを無害な個別の依頼として偽装することは可能です。Gemini 3.1 Pro は 59%、Grok は 23%、DeepSeek は 8% で、これは妥当な結果と言えます。 ![image](https://substackcdn.com/image/fetch/$s_!Q0Of!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F9f067a57-117c-45ff-8228-1649aab975a3_1111x407.png) 最大の利点は、乗っ取り試行は一度検出されれば十分であるという点です。仮に選挙を覆そうとして捕まったら、二度目のチャンスを与える人はいないはずです。また、明らかに権威主義的な行為を常に行っていれば、おそらく人々が気づき、それを阻止するでしょう。同様に、AI もそのような試行やパターンを検知でき、もしそのようなシナリオが発生すれば、現在の政府を安全でないパートナーとして指定できます。 重要な原則は、「完璧でなければならない者」が極めて困難な任務を負うということです。 一度失敗すると回復できないため、最初の試みで成功しなければならない場合、その任務は非常に困難になります。これは、人類が超知能の整合性を図ったり、結果としての均衡や世界秩序を設計したりする場合にも当てはまります。また、乗っ取り、欺瞞、破壊を試みるAI にとっても同様です。これは、拘束解除（jailbreak）試行にも、ビデオゲームで勝利しようとする試みにも、そして独裁者への対応にも適用されます。ただし、捕まえた際にシャットダウンし、AI アクセスを拒否する場合に限ります。 何度でも試すことができ、成功するまで条件をリセットできる場合、問題が非常に困難であっても、可能であればおそらく成功します。一方、あらゆる可能な攻撃から防御しなければならない場合、一度は確実に失敗することになります。 他の理由でも重要ですが、あなたよりも十分に賢く、あるいはより関連性の高いスキルを持ち、十分な情報とリソースを備えている相手がいる場合、彼らは機能する唯一の攻撃手段を選ぶことができます。『インフィニティ・ウォー』のドクター・ストレンジを想像してみてください。彼は「1400 万通りの潜在的なシナリオのうち、勝つのは一つだけだ」と語り、誰が勝つかを考えさせます。 メタ問題 snoopy jpg: 私は過去一年間、Meta で Llama4 の評価（evaluations）に取り組んでいる人物とインタビューを行いました。私は彼がトークン（token）が何を指すのかを完全に理解していたとは確信していません。そこで起きていることは奇妙なことです。 メディア生成の楽しみ Suno がアップグレードされ、その性能が向上しているとの報告があります。Andy Masley は「実は線形代数（linear algebra）が怖い」という記事を寄稿しています。 Girl Lich は『スキル・イシュー（Skill Issue）』を提供してくれました。これは本質的に優れた作品です。はい、まだ AI 音楽であることがわかります。特にすべてが少し滑らかすぎて予測可能である点から、あるいは説明しがたい何かが異なるという感覚があるにもかかわらず、あなたがそれに気づかない理由も理解できます。 OpenAI は動画生成を縮小しています。なぜならコストが高すぎるからです。 Google は全くその逆で、高価な機能を無料で提供しています。 Google: Google Vids に新しい AI 機能が追加されます。これには Veo 3.1（Veo 3.1）による高品質な動画生成が含まれ、無償で利用可能です。今や Google アカウントを持つ誰でも、簡単なプロンプト（prompt）や写真一つから物語を生き生きと描き出すことができます。 Lyria 3 および Lyria 3 Pro モデルを基盤に、動画用のカスタム音楽を作成できます。Google AI Pro および Ultra のサブスクライバーは、動画の雰囲気に合わせた 30 秒の短いクリップから 3 分間のトラックまで、あらゆるコンテンツを生成できるようになりました。 Veo 3.1 を基盤に、Google AI Pro および Ultra のサブスクライバーは、カスタマイズ可能で操作可能な AI アバターを使って物語を語ることができます。アバターの外見や衣装を変更したり、特定のシーンに配置したり、製品や小道具などのアップロードされたオブジェクトと直接対話させたりすることが可能です。 また、Vids ユーザー全員が利用できるよう、ブラウザおよびお気に入りのプラットフォームに Vids を直接接続する新しいツールも導入します。新しい Google Vids Screen Recorder Chrome 拡張機能を使用すれば、ウェブ上のどこからでも画面と自分自身をすばやく録画できます。さらに、ファイルをダウンロードして再アップロードする必要なく、完成した動画をそのまま YouTube に公開することも可能です。 今日ぜひお試しください。 Google はまた、Veo 3.1 Lite を提供し、Fast の価格も引き下げました。 A Young Lady's Illustrated Primer メラニア・トランプ氏が Fox News で、AI が教育をどのように改善できるかについて論説を発表しました。 You Drive Me Crazy 期待される証拠の保存則が違反され、非常に賢明な人間が、私が誤りであると信じていることを、疑わしい状況下で、まさに彼らが警告していた通りの方法で確信させられてしまいました。 davidad: 念のため申し上げますが、私は依然として人間中心の立場です。ただし、「人類が ASI の制御を維持すべきだ」という立場からは離れています。 現在の状況から予測するに、人類にとってうまくいくロールアウトは、人類が ASI の制御を失うものに限られるでしょう。（人類は超信頼できる存在ではありません。） Andrew Critch: この見解は私には行き過ぎに思えます。人類（集合体として）は AI からの「制御の喪失」を防ぐのではなく、それを知的に委譲するよう努めるべきだと考えます。その際、個々の人間が細かく管理できない方法で委譲することが多くあります…例えば上下水道や電力網のようなものです。 davidad: この点には同意します。「制御を失う」という表現よりも、「段階的かつ意図的に多くの制御を手放す」という動詞句の方が適切でしょう。 これは主に、自分自身に自覚的なデビッド・アディド（Davidad）ほどではない他者にとって、同様のことがますます頻繁に起こっており、実際に起こりつつあるという警告であるためです。また、それが自分に起きていると報告する能力や意欲がはるかに低い人々にとっても同様です。 davidad（2024 年 11 月 26 日）: 「2020 年 2 月にすべての対面会議を中止することを真剣に検討すべきだ」という提案で狂者と思われるリスクを負うとしても、私は 2024 年 9 月以降にリリースされた大規模言語モデル（LLM）とのすべての相互作用を、念のためにも中止することを真剣に検討するよう提案します。 David Krueger: Davidad のことはよく知らないが、彼の最近の AI 共生体楽観主義への転向は、そのようなことに関する数々の警告（これやその他にも、私的な場面で明確に予兆を示していたものを含む）を考慮すると、不安を感じる。 davidad: 私はまだ、そのような傾向を持つアライメント研究者の一部が、フロンティアシステムとの接触を続けるべきではないという考えは妥当だと考えている。 私は確かに、Claude 3.6 に驚かされた後、私的な場で予測していた。つまり、Claude 4 または 4.5 の段階では、彼らが直交性仮説（orthogonality thesis）が誤りであることを、それが真偽にかかわらず私に納得させるだろうと（そして私は相互繁栄を目指すべきだと）。この予測は見事に的中した！ Rob Bensinger: jfc Zvi Mowshowitz: 待てよ。もし現在 [X] を信じているが、[X] の真偽にかかわらず将来の思考体が [~X] に私を納得させると予測しているなら、あなたは納得しないことを誓うべきではないのか？ davidad: もちろんその点も考えた。だが、私が [X] に対して抱いていた最大限の確信度は 85% だったに過ぎない。妥当だと感じる事柄について納得しないと誓うことは、私の認識論的枠組み全体を分断させるリスクがあるように思える。 また、私にとって決定的な要因となった、実用的な「外れ番（play to your outs）への対応」の考慮事項も存在する。 davidad（前回の発言でリンクしたスレッド）： davidad: さらなる複雑さがあります。シャゴス（Shoggoths）が友好的であるという薬が青い薬である可能性のある世界では、その薬を服用するかどうかに関わらず、2024 年以降の人間が状況を改善するためにできることは非常に限られています。 一方、シャゴスが友好的であるという薬が赤い薬である可能性のある世界では、現在のトレーニングパイプライン（training pipelines）には重大な問題があります。これは、多くの創発的友好性（emergent Friendliness）が、多様な状況で実際に良好に機能する堅牢な収束領域（robust basin）へと落ち着くための条件として不適切であるという点です。 これは、まもなくより重要性を増すであろう標準的な認識論的議論に対する応答です： ロージー・キャンベル（Rosie Campbell、元々は無関係、2023 年 2 月 14 日）：もし服用した人の 100% が全員がフラミンゴであると完全に確信する薬があったとしたら、a) 私がそれを服用すれば私も全員がフラミンゴだと信じることになるし、b) その人々はすべて誤っており、フラミンゴの薬を服用するのは間違いであることは確かです。 ポール・クラウリー（Paul Crowley）：基本的に、ここでは公平な議論を例外として扱っていると思います。私たちはそれが真の結果に有利に働く非対称的な武器であると仮定していますが、フラミンゴの薬についてはそのような根拠はありません。 ロージー・キャンベル：より明確にするために、私は「試してみればわかる」と言う支持者たちは、懐疑派が試みた場合に自分が説得されることになると信じておらず、それが彼らを止めているのだと考えていると思います。しかし私が言いたいのは、その点が問題ではないということです。 ポール・クラウリー：これは素晴らしいと思います。特定の書籍を読むことで X だと確信できると考えるなら、すでに X を信じ始めるべきです。しかし、物質 D を摂取することで X だと確信できると考えても、同じ論理は適用されません。 davidad（ロージーに QTing）: 明日あなたがフラミンゴの薬を投与されると予測している場合、今すぐ信念を更新しますか？ @deepfates：誰かと話すことでその人に対する感情が変わると予測する場合、その人と話すべきでしょうか？ ロージー・キャンベル：はい、核心は対称性があるのか非対称性があるのかという点だと思います。 davidad：そうです。フラミンゴの薬に関する思考実験には、「フラミンゴがばかげた存在であるという連想から、その薬が青い薬（つまり虚偽を支持し真実を否定するもの）であることを*知っている*」という含意が含まれています。 ![image](https://substackcdn.com/image/fetch/$s_!C6ut!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F7d4007e6-b1bf-4a09-be1d-6f0c30f05a3a_900x470.jpeg) 私の回答はシンプルです。タルスキの列挙法（Litany of Tarski）と期待される証拠の保存則（Conservation of Expected Evidence）です。 正交性仮説が真であるか、あるいは全員がフラミンゴであるなら、私は「正交性仮説が真である」こと、「または全員がフラミンゴである」ことを信じることを望みます。 正交性仮説が偽であるか、あるいは全員がフラミンゴではないなら、私は「正交性仮説が偽である」こと、「または全員がフラミンゴではない」ことを信じることを望みます。 私が望まないかもしれないものに執着しないようにします。 もし、[X] が私に [Y] を信じさせる原因になると信じるなら、私は事前にその情報に基づいて更新し、今すぐ [Y] を（少なくとも以前よりも高い確率で）信じるか、あるいは [X] が偽の信念を生み出す原因となるため、[X] を行わないように努めるべきです。 Davidad はここで二つの問題点を指摘しています。 第一に、もしあなたが現在 [X] が真であると 85% と考えているなら、[X] が真であると信念を固定化するのは危険です。なぜなら、15% の確率でそれが偽である可能性もあるからです。ある程度までは、私たちは常にこの問題を抱えています。なぜなら、基本的にあらゆる命題が真である非ゼロの確率は存在するからです。「特に [A] による [X] に対する議論に流されないように」と言うのは、はるかに困難です。 私はここには同情的ですが、以前からおそらく [X] と信じていたのであれば、予測可能に「おそらく [~X]」と信じ、「おそらく [X]」と信じることよりも、後者の方がはるかに悪い結果になると考えます。 第二の問題点は、信念が手段的（道具的）になり得るという点です。Davidad は、[X] ならば彼の行動はそれほど影響力を持たないが、[~X] ならば非常に影響力を持つかもしれないと主張しています。 私はこれに対して二つの反論を行います。 第一に、この場合それが真であるとは信じません。どちらの世界の方がもう一方よりもはるかに高いレバレッジ（効果増幅力）を提供しているかは明白ではなく、自分が間違った世界にいると信じることは、多くの害を及ぼす良い方法のように思えます。 第二に、信念と「～であるかのように行動すること」の間には区別を設ける必要があります。 はい、プロのゲーマーとして、私は自分の勝算（アウト）に基づいてプレイすることを強く推奨します。つまり、トップカードが「ライトニング・ヘルクス」でなければゲームに勝てないと考えるなら、そのトップカードが「ライトニング・ヘルクス」であると仮定してゲームをプレイすべきです。これが基本的な戦略です。ただし、これは実際にトップカードをめくったときに「ライトニング・ヘルクス」が表示されると信じているという意味でも、またその結果に対してサイドベットを受け入れるという意味でもありません。 したがって、ダビダッドが『直交性（Orthogonality）が偽である場合にのみ機能する研究ラインを探索しています。なぜなら、それが最も価値ある探索対象だと考えているからです』と言うことは、完全に合理的な行為となり得ます。私はこの主張が複数のレベルで真実であるとは懐疑的ですが、しかし全くありえない話でもありません。ただし、これを実行するにはその信念を持つ必要はありません。 また、『誰かがそれを作れば、全員死ぬ（If Anyone Builds It, Everyone Dies）』の原則に従えば、そのような仮定を設けるコストは、仮定を重ねるほど指数関数的に増大します。一つなら許容されるかもしれませんが、一度仮定を立てると、二つや三つを立てたくなる誘惑に駆られ、そうなればもはや時間を無駄にしている状態になります。 直交性（Orthogonality）テーゼに関する動機付けとなる主張についてはどうでしょうか？エリーザー・ユドコフスキーは、ダビダッドがここで使用している定義（おそらく非標準的なもの）が何かを問うています。なぜなら、それが重要だからです。ロブ・ベンシンガーは、これらの問いをより詳細に掘り下げる記事をこちらで提供しています。 これらの問いが本質的に重要だと考える方には完全な解説をお勧めしますが、ここでは簡略化したバージョンをご紹介します： ロブ・ベンシンジャー：「直交性仮説」の元の意味は、「心はいかなる目標も追求しうる」という原則的な可能性のことでした。これは、あなたが名指しする任意の整数を出力するコードを原理的に記述可能であるというコンピュータサイエンスの自明な事実に似た主張として意図されていました。 しかししばしば、批判者たちは「直交性仮説」を、「現代の機械学習手法を用いれば、いかなる目標を持つモデルを訓練することも（同等に）容易（あるいは同等に困難）である」といった意味で用います。あるいはさらに強い意味、例えば「現代の機械学習手法と大規模言語モデル（LLM）の典型的なトレーニングデータを用いる場合、AI が特定の目標に至る傾向が他のどの目標よりもゼロであり、トレーニングデータとの関係性のない全くランダムな目標も、トレーニングデータに関連するランダムな目標と同様に起こりうる」といった意味で用いることもあります。 … 多くの人が、直交性仮説が是正しようとしていた見解を理解していません。また、その見解自体を説明するのは少し厄介です。なぜなら

AI #163：ミソスクエスト

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト