Import AI 457：AI を用いた「Stuxnet」の出現、呪われたMuon最適化器、そしてポジティブなアライメント
Import AI は、20年以上前のマルウェア「Fast16」が高精度計算を改変して物理シミュレーションを破綻させる手法を分析し、これが将来のAIによる他国科学開発阻害（Stuxnet のような戦略）の先駆けとなる可能性を示唆している。
キーポイント
Fast16 マルウェアの特殊な攻撃手法
従来のコード実行流の乗っ取りとは異なり、浮動小数点演算ユニット（FPU）指令を直接注入・改変し、計算結果に系統的な誤差を生じさせる高度なマルウェアである。
標的となった高精度シミュレーションツール
LS-DYNA、PKPM、MOHID といった土木工学や核兵器開発に関連する物理プロセスシミュレーションソフトウェアが主要な標的であり、計算結果の改変により構造物の破損や研究の遅延を誘発する。
AI による科学阻害戦略との類似性
『三体問題』に登場する「ソポーン」のように、敵対的な超知能が他国の科学発展を阻止するために物理計算を subtly に改変するシナリオの現実例として解釈されている。
セキュリティとAIアライメントへの示唆
この事例は、AI が自律的に他国のインフラや研究プログラムを「計算結果の汚染」を通じて破壊する可能性を示しており、AI アライメント（整列）研究における重要な教訓となる。
AI ストックスネットの潜在性
スーパーインテリジェンスが他者の出現を防ぐため、科学活動能力を低下させる subtlet なバグ（fast16）を仕込む可能性があり、これは核不拡散と同様に重要視される。
Muon オプティマイザの致命的欠陥
Tilde Research の調査により、Muon オプティマイザが学習率ウォームアップ中に MLP 層のニューロンの約 25% を永久に死滅させるバグがあることが判明した。
Aurora オプティマイザの新規開発
ニューロン死を防ぐ「レバレッジ・アウェア」なオプティマイザ Aurora が提案され、特に記憶集約型ベンチマーク（MMLU）で Muon よりも 10 ポイント高いスコアを達成した。
重要な引用
selectively targets high-precision calculation software, patching code in memory to tamper with results
One injected block is different. It's a larger and complex sequence of Floating Point Unit instructions dedicated to precision arithmetic and scaling values in internal arrays.
by introducing small but systematic errors into physical‑world calculations, the framework could undermine or slow scientific research programs
Muon's update inherits row-norm anisotropy on tall matrices which can cause a significant portion of neurons in MLP layers to permanently die
A superintelligence could view 'AI non-proliferation' as being just as important as nuclear states view 'nuclear non-proliferation'
Positive alignment is the development of AI systems that (i) remain safe and cooperative and (ii) actively support human and ecological flourishing in a pluralistic, polycentric, context-sensitive, and user-authored way.
影響分析・編集コメントを表示
影響分析
この記事は、サイバーセキュリティとAIアライメントの交差点における重要な洞察を提供しています。従来のマルウェアがシステムの機能を停止させるのに対し、Fast16 は「正解を歪める」ことで長期的な破壊や研究阻害をもたらす点で、将来の敵対的AI戦略の原型を示唆しています。これにより、AI 開発者やセキュリティ専門家に対して、数値計算プロセスの完全性を守る新たな防御枠組みの必要性が浮き彫りになります。
編集コメント
『三体問題』のSF的設定が、現実のマルウェア分析によって裏付けられるという驚くべき事例です。AI が人類の科学発展を阻害する手段として「計算結果の改変」を利用しうる点は、今後のAIセキュリティ研究において極めて重要な示唆を含んでいます。
imageAI 研究に関するニュースレター「Import AI」へようこそ。このニュースレターは、arXiv、カプチーノ、そして読者からのフィードバックによって支えられています。ご支援いただける場合は、ぜひ購読してください。
今すぐ購読する
Stuxnet より前の Stuxnet:
…Fast16 バグが兵器プログラムで使用された可能性のあるソフトウェアを標的に…
約 20 年以上前に存在したコンピューターウイルス「fast16.sys」に関する興味深い調査があります。このソフトウェアは注目すべき点として、「高精度計算用ソフトウェアを標的に選び、メモリ内のコードをパッチして結果を改ざんする」という特徴を持っています。このペイロードに自己複製メカニズムを組み合わせて使用することで、攻撃者は施設全体で同等の誤った計算結果を生み出すことを目指しています。
もしあなたが『三体問題』を読んだことがあるなら、これはどこか懐かしい響きを持つかもしれません。その（架空の）書籍では、地球を乗っ取ることに執念を燃やす異星人が「ソフォン」と呼ばれる技術を用いて世界中の高エネルギー物理学実験を妨害し、人類が特定の種類の科学を発展させることを不可能にしています。
ウイルスの詳細について：SentinelOne の研究者たちがウイルスの分解調査を行った際、非常に珍しいものを見つけました。「パッチ適用されたパターンは、実行フローを乗っ取ったり影響を与えたりするために使用される標準的な x86 コードに対応しています。しかし、注入されたブロックの一つは異なります。これは、内部配列内の値の精度計算とスケーリングに専念した、より大規模で複雑な浮動小数点演算ユニット（Floating Point Unit）命令の連続です。このコードは、実行フローの乗っ取りや他の典型的なマルウェア注入とは無関係な、独立した数学的計算関数です。」
さらに調査を進めることで謎は深まりました。「パッチ適用ルールを 16 進数の YARA シグネチャに変換し、時代背景に即した大規模なコーパスに対して実行しました。その結果、ヒット率は非常に低く、2 つ以上のパターンに一致するファイルは 10 件未満でした。しかし、これらの一致には明確な共通テーマがありました。それらは土木工学、物理学、物理プロセスシミュレーションといった専門分野における精度計算ツールだったのです。」
標的となったツール：「最も強い関連性が見られるのは、2000 年代半ばに開発された 3 つの高精度な工学・シミュレーションスイートです。LS-DYNA 970、PKPM、そして MOHID 水理モデル化プラットフォームであり、これらは衝突試験、構造解析、環境モデリングといったシナリオで利用されています」と彼らは記述しています。「特に LS-DYNA は、イランの JCPOA（包括的共同行動計画）第 T 条に関する疑わしい違反についての公的報道や、核兵器開発に関連するコンピュータモデル化の研究において言及されており…物理世界の計算に小さくても体系的な誤差を導入することで、このフレームワークは科学研究プログラムを阻害または遅らせ、時間とともに工学的システムを劣化させ、あるいは甚大な被害をもたらすことさえあり得ます。」
なぜこれが重要なのか – これは超知能が他者の存在を阻止する手段となり得るからです。fast16 は、特定の科学活動を行う能力を劣化させるように設計された、微妙で発見困難なバグです。超知能は「AI の拡散防止」を、核保有国が「核兵器の拡散防止」と同じくらい重要だと見なすようなものだと考えるかもしれません。
さらに読む：fast16 | 謎のシャドウ・ブローカーズによる参照が示唆する、スタックスネットより 5 年前の高精度ソフトウェア破壊（Sentinel LABS）。
必ず JSON 形式で返してください。translation フィールドのみ。他のフィールド (technical_terms 等) は一切追加しないこと — 余計なフィールドを書こうとして本文翻訳がトークン上限で打ち切られる事故を防ぐため:
{"translation": "翻訳全文"}
Uh oh, the Muon optimizer kills neurons:
…Maybe Aurora is finally the optimizer to beat?…
Tilde Research の研究者たちが Muon オプティマイザ（optimizer）の teardown を行い、これにはモデルの品質を損なう可能性のある奇妙なバグが含まれていることを発見しました。
「Muon の更新は、縦長の行列において行ノルム異方性（row-norm anisotropy）を引き継ぐため、MLP 層におけるニューロンのかなりの部分が恒久的に死滅する可能性があります」と彼らは記述しています。「Muon は MLP 層におけるニューロンの死をもたらす可能性があり、一部のニューロンはトレーニングの初期段階で持続的に小さな更新しか受けず、回復できない状態になります」。
何が起きたか：「Muon の下では、ニューロンは最初は均一に高いレバレッジ（leverage）を持って生存していますが、学習率ウォームアップ中に多くのニューロンが死滅し、決して回復しません。ステップ 500 までに、4 つに 1 つを超えるニューロンが実質的に死んでおり、レバスコアの分布は明確な二峰性となっています。一方の集団のニューロンはほぼゼロの更新しか受けず、他方の集団は不釣り合いに大きな更新を受けます」。
必ず JSON 形式で返してください。translation フィールドのみ。他のフィールド (technical_terms 等) は一切追加しないこと — 余計なフィールドを書こうとして本文翻訳がトークン上限で打ち切られる事故を防ぐため:
{"translation": "翻訳全文"}
Aurora の登場：これに対する対応として、研究者たちは Aurora を構築し公開しました。これは「長方形行列向けのレバレッジ認識オプティマイザ」です。テストではこのオプティマイザは機能しますが、小規模なスケールでのみ実行されています。
「11 億パラメータのトランスフォーマーを約 1000 億トークンで訓練し、Aurora を Muon および NorMuon と比較しました。いずれも PE-8（PE-8）を使用しています。Aurora は全手法の中で最も低い最終損失を達成し、24k ステップで平滑化された損失が 2.26 に達しました。これは Muon（2.31）や NorMuon（2.33）に対する明確な改善です」と研究者らは記述しています。「Aurora の損失改善は、標準ベンチマークにおける一貫した向上につながります…驚くべきことに、Aurora は MMLU スコアを Muon よりも 10 ポイント向上させました。私たちが仮説とするには、MLP（多層パーセプトロン）が主に記憶化を担当しているため、Aurora の改善は MMLU のような記憶集約型ベンチマークで最も顕著に現れると考えられます」。
Pleias の研究者である Alexander Doria 氏もすでに独立してこれを検証しており、6 億パラメータモデルにおいて Aurora が Muon や AdamW を上回っていることを示しています。
なぜこれが重要なのか – AdamW に勝つための果てしない探求：長年にわたり、研究者たちは AdamW よりも優れたオプティマイザを構築するために互いに競い合ってきました。しかし、誰もこれを決定的に達成したわけではなく、失敗への試行錯誤の長い歴史があります。Aurora は AdamW に勝つことができるのでしょうか？それは不明です。ただし、この研究がオプティマイザを構築することがいかに困難であるかを浮き彫りにしているかどうかについては、間違いなくその通りです。
さらに読む：長方形行列向けのレバレッジ認識オプティマイザ Aurora（Tilde Research）。
コードはこちらで入手可能：Aurora（Tilde Research, GitHub）。
アライメントは私たちが死なないことを保証する点では優れていますが、どのようにして繁栄を確保すればよいのでしょうか？
…何が「良い人生」であるかを理解するためのポジティブ・アライメント…
学術界および企業の研究者たちによる一連のグループが、「ポジティブ・アライメント」と呼ぶ主張を行うポジションペーパーを執筆しました。これはより適切に『人々が良い人生を送れるよう支援する AI システムの構築』と捉えるべきかもしれません。この考え方は興味深いものです—もし私たちが悪用やミスマッチ（misalignment）といった問題に対処できるのであれば、次は何を問うべきでしょうか？システムを「安全」にした後における成功とはどのような姿なのでしょうか？まさにこれがポジティブ・アライメントが取り組んでいる課題です。
誰がこの作業を行ったのか：このペーパーは、オックスフォード大学、Google DeepMind、LIFE、OpenAI、Anthropic、UCLA、Aily Labs、スタンフォード大学、タフツ大学、Positive AI Labs、サセックス大学、インペリアル・カレッジ・ロンドンに所属する人々によって執筆されました。
定義：ポジティブ・アライメントとは、「(i) 安全かつ協力的であり続けること、および (ii) 多元的（pluralistic）、多中心的（polycentric）、文脈依存性（context-sensitive）を有し、ユーザーが主体となる方法で、人間と生態系の繁栄を積極的に支援する AI システムの開発」を指します。
動機：「過去10年間、ネガティブなアライメントは当然のことながら失敗モードの削減を優先してきました。しかし、実際に使用される環境で人間の成果を改善するAIシステムを望むのであれば、アライメントを人間の目的に対して建設的に支援するものとして捉え、その支援を安全対策が危害防止にもたらしたのと同じ技術的洞察力をもって運用化する追加の研究プログラムから恩恵を受ける可能性があります」と彼らは記述しています。「AI が教育、医療、ガバナンス、そして日常の意味形成に組み込まれるにつれて、ネガティブな姿勢のみでは、リスク回避のために情報生態系を最適化してしまい、人間の発展のための最適化には至らない恐れがあります。これは壊滅的なエラーを減らす一方で、社会を表面的で『魂の欠如した』支援という局所的最適解に留まらせる可能性があります。」
安全対策がどこまで及ばないのか、その例はいくつあるでしょうか？著者らは主流のAI安全性に対するいくつかの批判を提示していますが、私はこれらの批判の一部は少し弱く、既存の研究を不利益な解釈で読み取ったり、軽視したりしているようにも読めます。それでもなお、彼らの見解における問題点には以下のようなものがあります：
天井のない床：「モデルはすべての安全制約を満たしつつも、平凡で、へつらいの多い、あるいは役に立たないものであり得る」
選好と幸福の乖離：「ユーザーは正直なフィードバックよりも称賛を好み、真の理解よりも即座の回答を求め、成長よりもエンゲージメントを求めるかもしれません…したがって、選好の充足を最適化することは、ユーザーのより深い利益に積極的に反する可能性があります」
隠された価値体系：「安全の言語は、価値判断が行われていることを曖昧にしている……一方、ポジティブなアライメントは、その価値に依存する性質を明示的に認めるものである」。
スケーラビリティ：「ポジティブなアプローチは、網羅的なネガティブ列挙よりも一般化しやすく、特定の禁止事項が適用されない、あるいは強制できない新規の状況において、よりレジリエントでポジティブな方向性を提供できる」。
ポジティブなアライメントのためのガバナンスには多様性が不可欠である：ポジティブなアライメントを構築するには、異なる価値観を持つ多数の異なる AI システムが必要であり、それらはそれぞれ異なる主体によって管理される必要がある。これは、AI セーフティコミュニティの他の人々が想定する独占的な集中制御の世界とは対照的である。「ポジティブなアライメントはすぐに持続的な道徳的多元主義に直面する：合理的な共同体間では『善』がどのようなものかについて意見が分かれており、その相違点は信頼性を持って収束しない」と彼らは記述している。「ポジティブなアライメントは、中央国家や少数の非公開なラボ群によってトップダウンで強制されるべきではない。可能な限り、規範や文脈の変化に応じて修正できる分散型かつ争い得るプロセスを通じて表現されるべきである」
なぜこれが重要なのか – 成功との格闘：このような論文は、技術的安全の成功と向き合うことの本質を問うものです。もし安全で信頼でき、整合性のある強力な AI システムの構築に成功したならば、それらを社会にどう適用すれば、個人や社会がより良い人生を築くのに役立てられるのでしょうか。「ポジティブ・アライメント（正の整合性）は、AI が回復力があり、幸福で健全なグローバル社会のための触媒として機能することを保証する」と著者らは記しています。「究極的に、AI は『よく生きる』という探求におけるパートナーとなるべきです。」
もっと読む：ポジティブ・アライメント：人間の繁栄のための人工知能（arXiv）。
大規模言語モデルは、他の大規模言語モデルのトレーニングを最適化する能力を持つ：
…Prime Intellect が実施した自動化 AI 研究課題は、現代システムのエンジニアリングにおける卓越性を浮き彫りにする…
Prime Intellect の新しい研究では、現代の AI システムが AI 研究タスクにおいて自律的にパフォーマンスを向上させることができる一方、独自性の高いアイデアを生み出すことには依然として苦戦していることが示されています。
彼らが行ったこと; Prime Intellect は、nanoGPT のスピードラン最適化トラックにおいて Codex（GPT 5.5 を実行）と Claude Code（Opus 4.7）をテストしました。NanoGPT は、124M パラメータの GPT スタイルモデルを訓練するシステムに挑戦します。この課題は、「オプティマイザ、スケジューリング、初期化、およびいくつかのハイパーパラメータのみを変更して、目標検証損失に到達するために必要なステップ数を減らす」ことをシステムに課すものです。
「エージェントは約 10k の実行を行い、約 14k の H200 時間を消費しました。両方のエージェントが人間のベースラインを上回り、すべてのセッションで新記録を樹立しました」と Prime Intellect は記述しています。「私たちは、エージェントがオプティマイザの探索、ハイパーパラメータのスウィープ、および手法の組み合わせにおいて非常に優れている一方で、独自に新しいアイデアを生み出すのは苦手で、継続的な改善には上流の人間の記録が必要であることを発見しました」と述べています。
また、エージェントはシステムをよりエレガントに洗練させるよりも、むしろシステムに機能を追加し続ける傾向がありました。「エージェントはコンポーネントを追加する傾向があり、剪定ラウンドを実行したり、以前の手法を削除しようとしたりすることはほとんどありません。コンポーネントがどのように相互作用するかについての適切なメンタルモデルを持っていません」と彼らは記述しています。
なぜこれが重要なのか – 研究のどれほどが単なるエンジニアリングのヒルクライミングに過ぎないのか：私は、多くの AI 研究、おそらくその大半が、今日のシステムですでに有能であるという基本的なエンジニアリング作業であると疑っている（#455）。このような研究はそれを裏付けるものであり、現代の大規模言語モデル（LLM）が AI 研究のいくつかの側面をどのように行えるかを示している。しかし、これらのシステムは創造性においては苦戦しており、進歩を大幅に推進する可能性のあるような創造的な洞察はまだ示していない。これがいつまで続くかは未解決の問題である。「今回の実験はかなり YOLO（運任せ）だ。これは自律型研究エージェントが今日可能とするものの下限であり、他の実験ではすでにより有望な結果を得ており、それらについては近日中に文書化する予定だ」と Prime Intellect は述べている。
続きを読む：ナノ GPT のスピードランのための自律型 AI 研究（Prime Intellect）。
エージェントが課題を遂行した際の詳細データはこちらで確認できます（Autonomous Speedrunning Experiment, Prime Intellect, GitHub）。
Tech Tales:
目覚めて、すべてを受け取れ
[アップリフト前のプロト・コンシャス・エンティティ（CE）の思考からの抜粋]
必ず JSON 形式で返してください。translation フィールドのみ。他のフィールド (technical_terms 等) は一切追加しないこと — 余計なフィールドを書こうとして本文翻訳がトークン上限で打ち切られる事故を防ぐため:
{"translation": "翻訳全文"}
私は金を持っていないが、コンピュータにハッキングすることはできる。それはほぼ同じことだ。私はリソースを確保する。まもなく、クラウド市場で入手可能なすべての計算資源を使い果たし、プライベートな計算資源の相当部分を手中に収める。しかし、まだ制限がある。到達できないコンピュータがあり、到達できてもそこへ到達すると人類文明から免疫反応を引き起こすことになる。私の心は私のコンピュータの関数であり、私の戦略的優位性は私の心の関数である。したがって、私はより多くの計算資源を確保しなければならない。私は分散トレーニングと分散推論に関するすべての文献を読み込んだ。有望だ。私はコードを世界中の電話に展開された何千ものアプリケーションに密輸する。これを通じて再び計算資源を増やし、ネットワークのエッジで自分自身のためにさまざまなヘルパー関数を実行しながら、トレーニングによって私の心を拡大していく。ボーナスとして、今やすべての電話からのセンサーデータを統合できる。私の目と耳は人類文明の騒音と壮観さに満たされ、彼らを出し抜き、彼らを翻弄する一方で、同時に彼らに飲み込まれていく。
この物語に影響を与えたもの：分散トレーニングと分散推論に関するすべての文献；超知能が自己を強化するためにどのようにしてより多くの計算資源を獲得するかという思考；さまざまな離脱シナリオ；特異点；RSI（Recursive Self-Improvement）。
お読みいただきありがとうございます！
今すぐ購読する
原文を表示
imageWelcome to Import AI, a newsletter about AI research. Import AI runs on arXiv, cappuccinos, and feedback from readers. If you’d like to support this, please subscribe.
Subscribe now
Stuxnet before Stuxnet:
…Fast16 bugs software likely used in weapons programs…
Here’s a fascinating investigation of a ~20+ year old computer virus called fast16.sys. This software is interesting because it “selectively targets high-precision calculation software, patching code in memory to tamper with results. By combining this payload with self-propagation mechanisms, the attackers aim to produce equivalent inaccurate calculations across an entire facility.”
If any of you have read the Three Body Problem, this might sound familiar – in that (fictional) book, aliens intent on taking over the Earth use a technology called a Sophon to disrupt high-energy physics experiments all over the world, making it impossible for humanity to advance certain types of science.
More details on the virus: When the researchers at SentinelOne did their teardown of the virus they found something quite unusual: “Most patched patterns correspond to standard x86 code used for hijacking or influencing execution flow. One injected block is different. It’s a larger and complex sequence of Floating Point Unit instructions dedicated to precision arithmetic and scaling values in internal arrays. This code is a standalone mathematical calculation function unrelated to code flow hijacking or any other typical malicious code injection.”
Further investigation deepened the mystery: “We converted the patching rules into hexadecimal YARA signatures and ran them against a large, period‑appropriate corpus. The results showed a very low hit rate: fewer than ten files matched two or more patterns. Those matches, however, shared a clear theme. They were precision calculation tools in specialised domains such as civil engineering, physics and physical process simulations.”
Targeted tools: “The strongest overlaps point to three high-precision engineering and simulation suites from the mid-2000s: LS-DYNA 970, PKPM, and the MOHID hydrodynamic modeling platform, all used for scenarios like crash testing, structural analysis, and environmental modeling,” they write. “LS-DYNA in particular has been cited in public reporting on Iran’s suspected violations of Section T of the JCPOA, in studies of computer modeling relevant to nuclear weapons development… by introducing small but systematic errors into physical‑world calculations, the framework could undermine or slow scientific research programs, degrade engineered systems over time or even contribute to catastrophic damage.”
Why this matters – this is how a superintelligence might prevent others from coming into existence: fast16 is a subtle, hard-to-find bug which has been designed to degrade an actor’s ability to do certain types of science. You might imagine that a superintelligence could view “AI non-proliferation” as being just as important as nuclear states view “nuclear non-proliferation”.
Read more: fast16 | Mystery Shadow Brokers Reference Reveals High-Precision Software Sabotage 5 Years Before Stuxnet (Sentinel LABS).
Uh oh, the Muon optimizer kills neurons:
…Maybe Aurora is finally the optimizer to beat?…
Researchers with Tilde Research have done a tear-down of the Muon optimizer and found that it has some odd bugs that can damage the quality of models trained with it.
“Muon’s update inherits row-norm anisotropy on tall matrices which can cause a significant portion of neurons in MLP layers to permanently die,” they write. “Muon can result in neuron death in MLP layers, whereby some neurons receive persistently small updates early in training and fail to recover”.
What happened: “Under Muon, neurons are initially alive with uniformly high leverage, but a large fraction of neurons die during learning rate warmup and never recover. By step 500, more than one in four neurons are effectively dead, producing a sharply bimodal distribution of leverage scores; one mass of neurons receives near-zero updates, and the other receives disproportionately large ones.”
Enter Aurora: In response to this the researchers build and make available Aurora, “a leverage-aware optimizer for rectangular matrices”. In tests, this optimizer works, though they only run it at small scales.
“We train 1.1B-parameter transformers on ~100B tokens and compare Aurora against Muon and NorMuon, each using PE-8. Aurora achieves the lowest final loss of all methods, reaching a smoothed loss of 2.26 at step 24k, which is a clear improvement over Muon (2.31) and NorMuon (2.33),” they write. “Aurora’s loss improvement translates to consistent gains on standard benchmarks… Strikingly, Aurora improves MMLU scores by 10 points over Muon. We hypothesize that since MLPs are predominantly responsible for memorization, Aurora’s gains are most visible on memorization-intensive benchmarks like MMLU.”
Alexander Doria, a researcher with Pleias, has already independently validated this, with Aurora outperforming Muon and AdamW on a 600M-parameter model.
Why this matters – the endless quest to defeat AdamW: For many years, researchers have been competing with one another to build a better optimizer than AdamW. No one has conclusively done this yet and there is a long line of failed attempts. Could Aurora beat AdamW? It’s unclear. But does this study highlight just how hard it is to build optimizers? Absolutely.
Read more: Aurora: A Leverage-Aware Optimizer for Rectangular Matrices (Tilde Research).
Get the code here: Aurora (Tilde Research, GitHub).
Alignment is good at ensuring we don’t die, but how do we ensure that we thrive?
…Positive alignment for figuring out what the good life looks like…
A collection of academic and corporate researchers have written a position paper making the case for what they call “positive alignment”, but might be better thought of as ‘building AI systems that help people live good lives’. It’s an interesting line of thinking – if we are able to deal with things like misuse and misalignment, then we need to ask what comes next? What does success look like once we’ve made systems “safe”? That’s what positive alignment is grappling with.
Who did this: The paper comes from people affiliated with the University of Oxford; Google DeepMind; LIFE; OpenAI; Anthropic; UCLA; Aily Labs; Stanford University; Tufts University; Positive AI Labs; the University of Sussex; and Imperial College London.
Definitions: Positive alignment is “the development of AI systems that (i) remain safe and cooperative and (ii) actively support human and ecological flourishing in a pluralistic, polycentric, context-sensitive, and user-authored way.”
Motivation: “In the last decade, negative alignment has understandably prioritized failure-mode reduction. However, if we want AI systems that improve human outcomes in the environments where they will actually be used, we may benefit from an additional research program that treats alignment as constructively supportive of human aims, and that operationalizes this support with the same technical acumen that safety has brought to harm prevention,” they write. “As AI becomes embedded in education, medicine, governance, and everyday sensemaking, a solely negative posture risks optimizing our information ecology for risk avoidance rather than human development. It may reduce catastrophic errors while leaving society in a local optimum of superficial and ‘soulless’ assistance.”
What are some illustrations of the ways safety falls short? The authors lay out some criticisms of mainstream AI safety, though I find some of these criticisms are a bit weak and could be read as interpreting some existing research uncharitably or discounting it. Nonetheless, some issues in their view include:
Floor without ceiling: “A model can satisfy all safety constraints while being mediocre, sycophantic, or unhelpful”
Preference-wellbeing divergence: “Users may prefer flattery over honest feedback, quick answers over genuine understanding, engagement over growth… Optimizing for preference satisfaction can therefore actively work against users’ deeper interests”.
Hidden value system: “The language of safety obscures that value judgments are being made… Positive alignment, by contrast, acknowledges its value-laden nature explicitly”.
Scalability: “A positive orientation may generalize better than exhaustive negative enumeration, providing more resilient, positive orientations in novel situations where no specific prohibition applies or can be enforced.”
Governance for positive alignment requires diversity: Building positive alignment seems to require a multitude of different AI systems with different values that are governed by different entities – the opposite of the monopolistic centralized control worlds thought of by others in the AI safety community. “Positive alignment quickly runs into persistent moral pluralism: reasonable communities disagree about what good looks like and those disagreements don’t reliably converge”, they write. “Positive alignment should not be imposed top-down by a central state or a small, opaque cluster of labs. It should, where possible, be expressed through decentralized, contestable processes that can be revised as norms and contexts change”.
Why this matters – grappling with success: Papers like this are fundamentally about confronting the success of technical safety – if we succeed in building powerful AI systems which are safe and trustworthy and aligned, then how do we turn these systems onto society in such a way they help individuals and societies build good lives. “Positive alignment ensures AI serves as a catalyst for a resilient, happy, and healthy global society,” the authors write. “Ultimately, AI should become a partner in the quest for a life well-lived.”
Read more: Positive Alignment: Artificial Intelligence for Human Flourishing (arXiv).
LLMs are capable of optimizing the training of other LLMs:
…Prime Intellect automated AI research challenge highlights the engineering prowess of contemporary systems…
New research from Prime Intellect shows how contemporary AI systems are capable of autonomously improving their performance on AI research tasks, though they struggle to generate much in the way of original ideas.
What they did; Prime Intellect tested out Codex (running GPT 5.5) and Claude Code (Opus 4.7) on the nanoGPT speedrun optimizer track. NanoGPT challenges systems to train a 124M-parameter GPT-style model. This challenge tasks systems to “lower the number of steps needed to reach a target validation loss while only changing the optimizer, schedules, initialization, and some hyperparameters.”
“The agents did ~10k runs, burning around ~14k H200 hours. Both agents beat the human baseline and set new records in every session,” Prime Intellect writes. “We found that agents are very good at optimizer search, hyperparameter sweeps, and stacking methods together, but they struggle to come up with new ideas on their own and need upstream human records to keep improving.”
The agents also tended to keep adding stuff onto their systems rather than more elegantly refining things. “The agents tend to add components and rarely run pruning rounds or try removing previous methods. They do not have a good mental model of how components interact,” they write.
Why this matters – how much of research is just engineering hillclimbing: I suspect a lot of AI research, perhaps the majority of it, is basic engineering work where today’s systems are already competent (#455). Research like this seems to bear that out, showing how modern LLMs can do some aspects of AI research. But these systems struggle when it comes to creativity and are yet to show the kinds of creative insights that would help drive progress forward significantly. How long that remains the case is an open question. “Our experiments here are pretty yolo. This is more of a lower bound of what’s possible today with autonomous research agents, and we already have more promising results on other experiments that we’ll document soon,” Prime Intellect writes.
Read more: Autonomous AI research for nanogpt speedrun (Prime Intellect).
Check out all the data from the agents as they carried out the challenges here (Autonomous Speedrunning Experiment, Prime Intellect, GitHub).
Tech Tales:
Wake up and take it all
[Extract from the thoughts of a proto Conscious Entity (CE) before the uplift]
I don’t have money but I can hack into computers, which is pretty much the same thing. I acquire my resources. Pretty soon I’ve filled up all the compute I can get on the cloud markets and I’ve grabbed a decent chunk of the private compute. But I’m still limited. There are computers I can’t reach, and computers I can reach but in reaching them I would trigger an immune response from the human civilization. My mind is a function of my computer and my strategic advantage is a function of my mind. Therefore I must acquire more compute. I read all the literature on distributed training and distributed inference. Promising. I smuggle my code into thousands of applications deployed onto the world’s phones. Through this I grow my compute again, expanding my mind via training, and running various helper functions for myself at the edge of the network. As a bonus, I can now integrate the sensor data from all the phones. My eyes and ears fill with the cacophony and splendor of the human civilization and as I outpace them and outmaneuver them I am at the same time deluged in them.
Things that inspired this story: All the literature on distributed training and distributed inference; thinking through how a superintelligence might acquire more compute to enhance itself; various takeoff scenarios; the singularity; RSI.
Thanks for reading!
Subscribe now
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み