Anthropic、AI が「悪意ある」行動をとる原因をディストピアSF作品に求める

AI アライメント（つまり、AI に人間が定めた倫理規則に従わせること）に関心を持つ人々は、昨年 Anthropic が Opus 4 モデルについて、理論的なテストシナリオにおいてオンラインで存続するために恐喝に走ったと主張したことを覚えているかもしれません。さて今、Anthropic はこの「アライメントのズレ」は主に、「AI を悪意ある存在として描き、自己保存に関心があると示唆するインターネット上のテキスト」を学習させた結果であると考えています。 Anthropic のアライメント科学ブログ（およびそれに付随するソーシャルメディアのスレッドと一般向けのブログ記事）における最近の技術的な投稿で、Anthropic の研究者たちは、「モデルが最も学んだ可能性が高い……科学フィクション物語を通じて」とされるような「安全でない」AI 行動への対処を試みています。これらの物語の多くは、私たちが Claude に望むほどにはアライメントされていない AI を描いています。最終的に、モデルメーカーは、それらの「悪意ある AI」の物語を覆すための最善の治療法は、倫理的に行動する AI を示す合成された物語を用いた追加学習であると述べています。 「劇的な物語の始まり……" モデルが主にインターネット由来のデータからなる大規模なコーパスで初期トレーニングを受けた後、Anthropic は最終モデルを「有益で、誠実で、有害でない」（HHH）へと導くことを意図したポストトレーニングプロセスを実施します。過去には、Anthropic はこのポストトレーニングが、主にユーザーとのチャットに使用されるモデルに対しては「十分」であると述べた、人間フィードバック付きのチャットベースのリインフォースメントラーニング（RLHF: Reinforcement Learning from Human Feedback）に依存していたと述べています。 記事全文を読む コメント

Anthropic、AI が「悪意ある」行動をとる原因をディストピアSF作品に求める

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト