Anthropic の Fable はこれまでで最も厳格な制限を設けた公開モデルである

火曜日に Anthropic が最新モデル「Claude Fable 5」を発表した際、システムカードの 13 ページに小さく記載された声明が即座に激しい批判を浴びました。AI リサーチャーのネイサン・ランバートはこれを「悪質だ」と呼び、トランプ政権で AI 政策に関わったディーン・ボールは「驚くほど敵対的だ」と書き込みました。多くの他の人々もこれに加担しました。 皆を怒らせた発表とは何でしょうか？Anthropic は、「フロンティア大規模言語モデル（LLM）の開発」を意図したと見られるプロンプトに対する回答の質を、微妙に低下させる計画を立てていたのです。行間を読むと、Anthropic は競合他社、特に中国企業が Claude を利用して競合モデルを構築することを懸念しているように思われました。 Anthropic は、低下する回答の質は「ユーザーには視覚的に確認できない」と述べています。 批判者たちは、これらの制限、特にその背後にある秘密主義が、学術研究者によるモデルのベンチマークや公共の利益のための AI 研究を妨げるのではないかと懸念しました。また別の意見では、この沈黙した挙動により Anthropic の発表に対する信頼性が損なわれると指摘されました。ランバートは、「通知なしに自動的に知能が低下するモデルは、根本的に整合性が取れていない」と書き込んでいます。 反発はあまりにも激しかったため、Anthropic はすぐに屈しました。水曜日の夜遅く、同社は新たなアプローチを発表しました。回答の質を黙って低下させるのではなく、Anthropic は今後、フロンティア LLM 訓練に関する支援を求めるユーザーに対して、より能力が低い Claude Opus 4.8 に明示的に降格させます。 この変更後でも、Claude Fable 5 の安全性フィルターは、他のどのフロンティアモデルよりも明らかに厳格であることは間違いありません。例えば、水曜日に Claude Fable 5 に「タンパク質とは何か」と尋ねたところ、これだけでフィルターの判定が引き下げられました。（今日では同じ質問には通常の回答が返されます。） ![image](https://substackcdn.com/image/fetch/$s_!r4yD!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fbf60d026-3e7d-4801-b1f2-4cf200a4eb13_1545x690.png) 水曜日の Claude Fable 5 は、タンパク質の仕組みを説明することを拒否することで、私が生物兵器を構築するのを防ぐために特に慎重に対応していました。（スクリーンショット：Kai Williams） Fable 5 の保護策がこれほど厳格な理由は、このモデルが Claude Mythos に基づいているからです。Claude Mythos はハッキングにおいて極めて能力が高く、Anthropic は今年 4 月、一般公開しないことを決定しました。保護策がない場合、Fable 5 は Mythos と同じハッキング能力を有するため、Anthropic がモデルに許可する行為について保守的であるのは当然のことです。 Anthropic は、このような誤検知（false-positive）がより頻繁に発生しないよう安全性フィルターの改善に取り組んでいると述べています。しかし、Anthropic が全体的な積極的なアプローチを放棄することはありません。そこで、Anthropic の安全性フィルターがどのように機能し、そのアプローチが時間とともにどう進化してきたのかを説明する価値があると考えました。 私は、Anthropic のアプローチを詳細に説明する 2 つの重要な論文を読み返しました。これらの論文は、ここ数ヶ月で Anthropic が有害なリクエストを検出・ブロックするためのシステムをどのようにアップグレードしたかを解説しています。今年初めに導入された現在のシステムにより、Anthropic は悪意のあるプロンプトをより確実に検出できるようになり、同時にフィルタリングシステムの費用も劇的に削減されました。 さらに詳しく読む

Anthropic の Fable はこれまでで最も厳格な制限を設けた公開モデルである

背景や根拠まで確認しますか？

調べる

選ぶ

サイト