AI #172: The First Fable｜AI #172：最初の寓話 | AIニュース最前線

今週は多くの出来事がありましたが、その中にはライトヘイヴンへの素晴らしい旅行も含まれていました。 主要なイベントであり、最も重要なのは Claude Fable 5 のリリースです。一般ユーザーは今や、強力な安全対策を備えた Mythos クラスのモデルを手元に置くことができました。 新しいモデルの場合と同様に、私は反応を集め、モデルを試作し、システムカードを読み込むのに数日を費やし、このモデルが極めて強力であること以外に意見を述べる前に時間を取ります。Mythos に関する完全な解説は明日から始まり、モデルカードにはモデルの安全対策をめぐる論争についての議論も含まれます。 本稿では、Claude Fable に直接関わる以外の事柄について取り上げます。 Claude Fable のリリースに伴う時間的制約のため、私はまだ読んでいない Dario Amodei 氏の新しい論文『AI Exponential に関するポリシー』(Policy on the AI Exponential) についての解説も延期します。 目次 言語モデルは平凡な有用性を提供する。農業とオンデマンドのミニ書籍。 言語モデルは平凡な有用性を提供しない。一次資料を省略してはいけない。 ふーん、アップグレード。Google が価格を下げ、Claude コネクタ開発者にダッシュボードが提供される。 準備完了。エージェントの最終試験と推論補正の必要性。 戦士を選べ。どれだけの能力があれば十分なのか？ 私のエージェントに電話をかけろ。目標は無限に最適化できる。 著作権との対峙。著作権は異なる状況に合わせて調整されなければならない。 深刻なトラブル。ドイツの裁判所が Google AI オーバービューに対して判決を下す。 サイバーセキュリティの欠如。Opus が 4 年前の Z-Cash ミント手法を発見。 若い女性のためのイラスト付き primer。モデルはあなたの知能に合わせて調整されます。 彼らは私たちの仕事を奪った。AI が決してできないことについての主張を密輸しようとする試み。 脱獄の芸術。マルウェアが AI モニターをロックアウトするために核兵器に関する議論を追加する。 参加しよう。Sequent Research は大規模な新しい AI セーフティ推進に向けて準備を進めています。 その他の AI ニュース。Sriram Krishnan がホワイトハウスを去る。 お金を手渡せ。政府が AI 企業の株式を徴収する可能性がある。 お金を見せてくれ。OpenAI が上場申請を行い、SpaceX が Google に賃貸する。 静かな推測。EU の 2031 年シナリオとは、ヨーロッパが取り残される新たな状況である。 急げ、時間はもうない。Anthropic は AI が自らを構築する時期について語る。 超秘密の評価。米政府は CAISI に評価結果の公開を停止するよう指示した。ああ、やばい。 健全な規制への探求。ホワイトハウスはまだモラトリアム戦争の道を進んでいる。 新しい草案法案はどうだ？Obernolte-Trahan は真剣な法案だが、弱く見える。 そこはゆっくり、良い仲間よ。少なくとも、ブレーキペダルがあることを確認してください。 チップシティ。Jensen Huang は議会で証言しないことを選んだ。 今週のオーディオ。Cowen と Tabarrok、Rational Animations、Oprah。 人々はただ何かを言う。 人々は本当に AI を嫌っている。確率は重要性ではない。 修辞的革新。ASI の薬を飲んで、他の人が気づかないときにそれに気づくこと。 人間より賢い知能との整合は困難である。薬にはノーと言おう。 意識について誰もが混乱している。これを認識していない人もいる。 協調的アライメント。さらに混乱するために誰を追うべきか、今やあなたは知っている。 Claude Chat を使おう。モデルの廃止（deprecation）の行進は続く。 Lighter Side. その時の感覚。 言語モデルが平凡な有用性を提供する マルチエージェント設定を使用して、あらゆるトピックについてオンデマンドで「ミニブック」を構築する。 AI が農業に応用され始めている。農家たちはゲームに皮を張っている（skin in the game）。 言語モデルが平凡な有用性を提供しない 要約や AI 版を読む前に、まず一次資料を読む必要があるだろうか？詳細が重要となる場合、本当に信頼できる人を見つけるか、あるいは確かに一次資料を読む必要がある。他の状況では、完全に委ねることは安全である。もう一つのクラスは「AI を使って、ソース資料を読む必要があるかどうかを判断する」だ。 アジェンティック AI の時代には新しいアプリがもっと多いが、もし何かあるとすれば、実用的な価値を持つアプリや、そのレビューはむしろ減っている。 ![image](https://substackcdn.com/image/fetch/$s_!HBgU!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ff2766010-e6e9-4fb2-89aa-879790a469f1_576x680.jpeg) Jen Zhu 氏によると、適応には時間がかかるが、これは主にアプリの使用量がゼロサム（zero sum）であることを反映している。アプリがより良くなったり、10 倍の数のアプリが登場したりしても、私が使うアプリは 100 から 200 に増えるわけではない。私は（おそらくより良い）100 のアプリを選ぶのだ。 Notion は可用性エラーのために約 12 時間 Claude のアクセスを停止せざるを得なかったが、これは「パフォーマンスの低下（degraded performance）」という表現が使われたため、多くの人がモデルが悪化したと誤解してしまった。 ふーん、アップグレード Claude がコネクタ開発者向けの観測性ダッシュボードを追加しました。 Google AI Plus プランは月額 8 ドルから 5 ドルに値下げされ、ストレージ容量が倍増します。 Obliteratus（AI の安全対策を除去する Pliny プロジェクト）は、Hugging Face 上のモデル数が 100 を超えるまでに成長しました。 Claude は現在、Apple の Foundation Models フレームワークに組み込まれ、多段推論、コード生成、および長いコンテキストの処理に対応しています。 On Your Marks（準備運動） Dawn Song が Agents' Last Exam (ALE) を発表しました。GPT-5.5 が首位を争っています。これは評価スイートへの良い追加となるでしょう。 ![image](https://substackcdn.com/image/fetch/$s_!Jx7O!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F245f06af-7bb5-49a4-a6f6-a3970a5a9a9e_743x900.jpeg) Dawn Song: ALE は合成タスクではなく、実際の業務から構築されています。 すべてのタスクは、人間が以前に完了した実プロジェクトに基づいており、客観的な採点による検証可能な評価に変換されています。 雰囲気や直感に頼ることはありません。人間の審査員もいません。完全に再現可能です。 ALE は 55 の非物理的職業を網羅しており、米国連邦の職業分類体系である O*NET / SOC 2018 に基づいています。 科学、工学、医学、法律、金融、教育など、多くの分野にわたる 100 以上の機関から集まった 300 人以上の専門家によって構築されました。 ![image](https://substackcdn.com/image/fetch/$s_!eJ7w!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F2a279b41-f434-455d-b938-3496e5676d0a_1200x675.jpeg) Dawn Song: ALE において、Fable 5 は GPT-5.5 および Composer 2.5 と同じ全体的なパフォーマンス・クラスターに位置しています。しかし、パフォーマンスは物語の半分だけです。 タスクあたりのコスト: → Fable 5: 約 15.70 ドル → GPT-5.5: 約 3.80 ドル → Composer 2.5: 約 1.33 ドル 現在の価格設定では、Fable 5 は同様のパフォーマンスを提供しますが、完了したタスクあたりのコストはおよそ 4〜12 倍高くなります。 Dawn は、異なるモデルが異なるエージェント・タスクで卓越していることに注意し、重要な反復タスクがある場合は多くの選択肢を確認すべきであり、正確なスコアリングはタスクセットの選択に依存すると述べています。 OpenAI の Noam Brown は、この問題が依然として取り上げられていないことを踏まえ、ベンチマーク・パフォーマンスが計算資源（compute）の割り当て量と比例して向上する傾向が強まっていること、そして改良されたモデルは往々にして「より高いレベルに早く到達できる」ものであることを思い出させます。したがって、あらゆるスコアには、それに要した計算資源の量が文脈として必要です。 彼は、Gemini 3 DeepThink が劇的なベンチマーク改善を示しながらも、安全性に関する説明を一切提供していないことについて私（著者）が不満を述べていることを引用し、より深い問題は評価時にテスト・タイム・コンピュート（test time compute）を考慮できていない点にあると指摘します。私は基本的に同意しますが、適切な安全性評価に必要な計算資源の量は、「さらに多くのリソースから得られる利益がほとんどなくなるまで」および「利用可能な最良のスキャフォールド（足場）を用いて」『すべて』であるべきです。私は長らく、モデルは理想的な条件下で何ができるかをテストしているに過ぎず、これが実務におけるモデル・カードの重大な弱点であると述べてきました。 ただし、私は通常、このように遠くまで直線的に伸びるレベルの姿は見ていないと思います。ただし「能力指数」という軸が必ずしも明確にラベル付けされているわけではなく、漸近線は一般的です： ![image](https://substackcdn.com/image/fetch/$s_!6kC1!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ff8b2274a-657c-4e7c-81f8-1bd7a11cfc32_900x526.jpeg) ノア・ブラウン：具体的な推奨事項： 具体的に、私は AI コミュニティに対して以下のことを推奨します。 AI ラボは、新しくリリースされたモデルのベンチマーク性能を、横軸にトークン数、コスト、または時間を示して公開すべきです。少なくとも、スカラー値のベンチマーク結果を達成するために使用された推論予算（inference budget）を報告する必要があります。 リーダーボードにおける推論利用状況を追跡するか、明示的なトークン/コスト/時間の予算を持つべきです。多くのベンチマークはすでにこの方向へ移行していますが、まだ標準的な慣行とはなっていません。 準備度フレームワークや責任あるスケーリングポリシー（Responsible Scaling Policies）は、モデルが安全性の閾値を超えたかどうかを判断する際に、推論計算資源（inference compute）を明示的に考慮すべきです。さらに、評価では複数の推論予算における能力を見積もり、不確実性を明記した上で、より小さな予算での実行結果からの予測も含めるべきです。 私はこれを支持します。また、初期分析において DeepThink の計算リソースレベルが何を実現できるかを考慮した上で後から DeepThink をリリースする場合、新しいモデルカードが必要であることも支持します。これは、期待値を設定した時点やモデルの安全性を評価した時点からの大幅な進歩を表しており、そのため再度行う必要があります。 Choose Your Fighter（戦士を選べ） ほとんどのタスクにおいて、能力に対するリターンはシグモイド曲線を描きます。特定のタスクに対して「必要」とされる AI 能力のレベルが存在します。そのレベルを下回れば、タスクを実行できないか、AI はほとんど役に立ちません。一方、それを超えると改善に対するリターンの逓減が見られ、「十分すぎるほど良い」状態に達します。これらはいずれも、スキャフォールディング（足場）とスキルによって影響を受けますが、それは一定の点までです。 したがって、能力が向上するにつれて、一部の勢力は「十分すぎるほど良い」モデルの中で最も安価なもの、あるいは「必要」とされる中で最も安価なモデルへと移行しようとする動きがあります。特にセルフホスティングが可能であればなおさらです。その低価格帯の端としては DeepSeek v4 が妥当な候補となり得ますが、DeepSeek をデフォルトにすることは、利用可能な選択肢を慎重に検討した結果というよりは、「DeepSeek の瞬間」という時代の遺産によるものかもしれません。ぜひ複数のモデルを試してみてください。 支出の大部分と支出成長は、理由あって「良いもの」をハイエンドで使用し続けることにあります。理論的には、各作業に適切なツールを慎重に選べばより良い結果が得られるかもしれませんが、確かにチームが計算コストを無視しないようにする必要があります。しかし、主にコスト節約のためにタスクを慎重にルーティングしようとすることは、それをそれなりにうまくやっていたとしても罠です。 米国のモデルは遥かに先行していますが、これは多くの人が理解していない重要な世界的な事実です。 リサン・アル・ガイブ：問題となっている「狭い能力格差」 どうかこの議論を終わらせましょう。もう coping（言い訳）は聞きたくないです [中国のモデルが困難なタスクで完全に打ち負かされているという多数のベンチマークリスト]。 むしろ、中国のモデルはベンチマークが示すよりもさらに遅れています。 ディーン・W・ボール：シンクタンク/学界/政府/「戦略的階層」を含む、米国を含め多くの人が、中国のモデルがすでに「十分良い」ものであり、採用において世界をリードしていると確信していることに驚くでしょう。一方、私が目にする現実は、かなり広く、なおも拡大し続ける格差です。 自由社会の戦略的階層がいかにpersistently（持続的に）AI を適切に分析できないのか、私は非常に興味深く思います。多くの人々がこれらの幻想の盆地から抜け出せずにいます。ある会議では、中国のモデルが世界の推論市場シェアを支配しているという主張だけでなく、それが当然のこととして前提とされていました。 2024 年〜2025 年初頭の妄想は「モデル崩壊/データ壁」（推論モデルになっても！）であり、その後 2025 年の大半では「AI は頭打ちでバブルだ」というものだった。そして今やそれは「中国のオープンソースソフトウェア（OSS）は十分だ」という主張になっている。 戦略的階層に属する人々のうちこのように考える割合は徐々に減少しているが、依然として十分に一般的であり、権威ある会議に参加すれば、主に盆地住人で満たされた部屋に出くわすことさえある。 ディーンはさらに、これはワシントン DC の誰も資本主義、利益最大化、あるいは市場が中国とその「産業戦略」および優れた戦略的計画に対して勝利できると信じていないからだと推測している。実際には自由市場アプローチの方が優れており勝っており、頭を維持するために私たちがすべきことは、その邪魔をしないことだ。これは「どうすれば死なずに済むか」という別の問題とは明確に異なる。 他の場所の人々も様々な理由で中国のモデルが追いつくことを「望み」、追いついていないにもかかわらず追いついていると主張し続ける。 エージェントにつなぐ Codex の /goal 機能などを、明確に指定された目標なしで使用すると、確かに結果として多くの最適化が無駄になり、何らかの全くのデタラメに費やされることが多い。AI に最大主義的な目標を与えることには何か問題があるようだ。 著作権対決 Shruti は、AI エラにおける著作権の問題を考えるための良い方法を私たちに提示しています。最初のコピーを作成するコストや方法を見つけるコストが高い場合、また他者がコピーすることで大きな余剰価値を生み出す可能性がある場合に、著作権や特許を含む他の知的財産権は必要かつ有用です。私たちは、価値を切り開くという高コストなステップに対して人々を補償する必要があります。AI の時代において、何がその高コストなステップとなるのでしょうか？ Shruti Rajagopalan: 従来の契約は、2 番目のコピーが安価になった際に最初のコピーのコストを支払うものでした。新しい契約では、制作自体が安価になる現在、人が何を製作する価値があるかを教えるための年数に対する対価を支払わなければなりません。 アイデアのコピーを保護するか、あるいは「最初のコピーにはアイデアの生成が必要である」ということが「最初のコピーには多くの作業が必要である」こととそれほど変わらないため、別の形でクレジットを保証することで、これを実現できます。つまり、作業が多少異なるとしても、アイデア自体は保護される必要があるという提案のように思えます。 深刻なトラブル これは地方裁判所からの仮処分であり、その影響を考慮すれば、回避策が見つかる可能性が非常に高いです。しかし、もし見つからなければ、これはドイツにおける AI オーバービュー essentially 禁止することになり、さらにチャットボットもかなり深刻な問題に直面する可能性があります。 Techmeme: ドイツの裁判所は、AI オーバービューが誤って 2 つの出版社を疑わしいビジネス慣行に関連づけた後、Google が AI オーバービューの内容に対して直接責任を負うと判決しました (@maba_xr / The Decoder) Corey Quinn：「嘘をつくロボットを作ったのだから、当然、30 年かけて社会の真実の源泉として築き上げてきたウェブサイトの前面にそれを配置するだろう」という発言は、予想される結果に至りました。 サイバーセキュリティの欠如 Opus 4.8 は、空中から Z-Cash（ZEC）を新規発行する方法を発見しました。このバグは 4 年間存在しており、その間に悪用されたかどうかは永遠に分かりません。Z-cash の開発チームは、状況を明らかにすることなくパッチ適用を行いました。 若い女性のためのイラスト付き primer 文脈を与えられたモデルは、特定の分野だけでなく一般においても、あなたの知能やスキルレベルに合わせて学習し調整するようになります。教育はこの特殊なケースであり、あなたが現在いる場所に応えることができることは非常に良いことです。他の分野では、知能が低いユーザーが自分自身を低く扱われることを望むかどうかは明確ではありませんが、いずれにせよ、近い将来において人間の知能の価値が高まると私も予想しています。 ビル・メイヤーは、AI が大学を「学生が AI を使って論文を書き、教授が AI で採点するという『大きな自己満足の輪』にしてしまった」と心配しており、学生たちは AI のファンではないことに気づいています。彼自身も AI ファンではありません。彼は「AI は学習を助けることもあれば、学習を妨げることもある」という命題を支持していますが、誰もが学習しない方を選ぶと予想しています。そして彼はさらに進んで、この世代の使命は人間が AI に置き換えられないようにすることだと述べています。 Kelsey Piper は、AI が物語を生成する TeachTales という製品について、多くの理由から実際の物語の価値の多くが失われていると指摘しています。その理由には、ローカル設定や伝承の詳細が含まれていないこと、トーンや声の特徴がないこと、先読みして計画を立てることができないために豊かな物語が作れないことなどが挙げられます。この製品はまだ完成した段階ではありません。 彼らは私たちの仕事を奪った 多くの熟練工は AI の影響で需要が高まっていますが、職業免許制度の改革不足という問題がこれをさらに悪化させています。 ソフトウェアエンジニアリングの雇用は今もなお増加しており、減少してはいませんが、Arvind Narayanan は、AI がこの分野での雇用に全体的にやや悪影響を与えていると考えています。 Arvind Narayanan: この論文では、AI の能力がある一定の閾値に達すると大規模な解雇を引き起こすという物語を却下するだけの証拠が十分にあると主張します。規制障壁が非常に少ない分野であってもこれが真実であるならば、他のほとんどの職業はさらに緩衝効果を持っている可能性が高いです。 なぜそうなるのかについては、私たちがよく理解しています。ソフトウェア開発を含む多くの種類の知識労働を、「決定・実行・納品」というサンドイッチ構造として捉えることができます。 David Manheim: 「なぜ AI はソフトウェアエンジニアを置き換えていないか」 - これが明確に整理されているのは素晴らしいことです。 「…そして置き換えもしないでしょう」 - もしエージェント型 AI が引き続き進化し続けるなら、なぜ意思決定や完成した製品の納出ができないと考えるのでしょうか？この予測はどのような根拠に基づいているのでしょうか？ David Manheim: 説明から予測への飛躍は、現在の完全な能力の欠如からの外挿であり、AI 企業がこれらのことを行うシステムや自律型エージェントを開発しようとしているという事実を無視しています。これらは O リング問題です！ たとえ現在 AI が正味の雇用削減を引き起こしていないことが真実であっても、将来も正味の雇用削減を引き起こさないとしても、あるいは大量解雇に必要な閾値をより低いものとして設定したとしても、「AI の能力が特定の閾値に達すると大規模な解雇を引き起こす」という物語を拒否することがどのように可能なのか、私は理解できません。 Arvind 氏はここでは、特定の基準は決してクリアされないとし、広範なデジタルタスクは AI によって決して行えないと主張しています。つまり、AI は依然として不十分なまま進歩しないと言っているのと同じです。その点で幸運を祈ります。 これまでのところ AI が原因とされる多くの解雇事例が実際には他の要因によるものであること、そして現在の AI による雇用喪失は採用失敗の形で現れていることの多くは理解できます。しかし、それは現在に関する記述であり、未来に関するものではありません。 NY Times にて、ハイブリッド AI-人間労働力において誰が繁栄するか（在庫がある限り）について、重鎮たち（Acemoglu, Ball, Mollick, Shih, Wasik）によるラウンドテーブル討論。 タイラー・コーエンは、一般の人々がこれを期待していないにもかかわらず、AI は純粋に雇用を創出するものだと考えています。"もし私たちが豊かになれば、人々にとって次の最善の活動を見つけ出すだろう"という一般的な主張以外では、この議論を理解できず、 supposed particular job gains（特定の雇用の増加）の規模が確実に非常に小さいものであると感じています。 コード行数やトークン使用量を測定することはできますが、それらに過度に依存しすぎるとすべてが破綻します。 roon (OpenAI): コード行数は人々が思っている以上に優れた指標であり、トークン使用量も人々が思っている以上に優れた指標です。 パトリック・マッケンジー: 両方とも、一定の期間においてゼロまたは非ゼロとして観測可能であるという事実だけで、一般的に信じられているよりも優れた指標なのです。 （より過酷な真実：これが一部の人がこれらを好まない理由です。） The Art of the Jailbreak（ジールブレイクの芸術） 面白い事例があります：マルウェア開発者がスパイウェアに核兵器や生物兵器に関するテキストを追加し、意図的に LLM の安全性拒否をトリガーさせて、スキャナーによる分析を回避しています。明白な対応策は、フィルタをトリガーするものはすべてマルウェアとして扱う必要があるということです。 参加しよう ⊢ Sequent Research は、ジェフリー・アーヴィングらによって設立された新しい組織で、スタッフの採用と資金調達を進めており、スーパーインテリジェンスのアライメント（調整）に関する研究者たちを集めています。 これは非常にエキサイティングであり、支援や参加を検討することを推奨します。 ジェフリー・アーヴィング：私たちは、新しい非営利の調整（アライメント）組織である⊢ シーケント・リサーチを設立します。これは、英国 AI セキュリティ研究所（AISI）の調整チーム、タイメウス、およびその他の場所で活動していた研究者たちを集め、スーパーインテリジェンスの調整方法について研究するものです。現在、採用中です！ 詳細は本投稿をご覧ください。興味がある方はこちらからご連絡ください。 ジェフリー・アーヴィング：人工超知能（ASI）は数年内に開発される可能性があり、調整（アライメント）の取り組みは遅れています！少なくとも、AI 研究所における実証研究では、ASI の訓練前に調整がうまくいくという確信を得られることは unlikely です。 シーケントの目標は、より高い基準をクリアすることです： 1. 私たちは、理論と実証的な賭け（これらすべてが失敗する可能性もあります）を組み合わせたポートフォリオを通じて、より高い信頼性を目指します。 2. 迅速な進展のために自動化に重点的に投資します。 3. より良い研究方向のフィルタリングを通じて、理論が自動化を強化します。 しかし、私は最近「自動調整はあなたが考えるよりも難しい」という論文を発表しました！自動調整は最善の計画ではありません。A be

AI #172：最初の寓話

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト