[AINews] フロンティアラボでの就職に成功する方法（事前学習編）

Google I/O の前日であり、次期主要な Gemini リリースのプレビューが行われることが予想されるこの週は、競合他社からは静かな週になる可能性が高いですが、Anthropic と OpenAI はともに今日、小さな勝利を収めました。また Cursor は、合成データや報酬ハッキングに関する詳細な情報と、Muon を用いた継続的な事前学習とともに、最初の SpaceXAI モデルをリリースしました。しかし、今日の最も永続的なタイトル候補となるのは、Vlad Feinberg の（Google/TPU 中心であることは当然として）ジョブ準備、特に事前学習（Pretraining）に関するノートでしょう。 ![image](https://substackcdn.com/image/fetch/$s_!W6LK!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F2e69d902-1d29-4e8c-834c-41e83b07223f_1194x604.png) 具体的には、彼は昨年の DeepMind によるスケーリング・ハンドブック（Scaling handbook）を参照しており、カーネル開発（kernel work）が重要な一部であると述べています。 すべての LLM 作業における最大のボトルネックであり、最も内側のループは、抽象的かつ論理的な変更を実行可能なものにするパフォーマンス関連の作業です。あらゆるプロジェクトには、カーネルレベルで LLM をチューニングできる人材が必要です。これは習得可能なスキルであり、ラボへの最も直接的な入り口となります。 カーネル開発のための DSL（ドメイン固有言語）についての予期せぬ言及があり、その簡潔な歴史が紹介されています。 このスタックの上位レベルにいる人に対して、驚くべきことに彼は、自動研究や AlphaEvolve などのエージェント作業（Agent Work）にも言及しています。そして彼は、非常にシンプルな演習で締めくくります。 しかし、本当の採用テストは下部のパラグラフにあります。 これに対して Chinchilla の法則を導出し、密型モデルと MoE アーキテクチャでどのように異なるかを確認してください。 学習体験を本当に得たいのであれば、JAX で手動からゼロからコードを実装してください。 次に、MoE レイヤーに jax.lax.ragged_dot を使用したと仮定して、F > D の条件において up/down 射影を融合させることで ragged dot よりも高速な Pallas カーネルを記述してください。 前方伝播の速度向上が測定可能な設定を見つけてください。また、その理由についても説明してください。 この内容をコミュニティ全体に教えることができるのであれば、ワークショップスピーカーとして紹介させていただくことを大変嬉しく思います。 2026 年 5 月 16 日〜5 月 18 日の AI ニュースです。12 のサブレッド、544 件の Twitter、および Discord は確認していません。AINews のウェブサイトでは過去のすべての号を検索できます。念のため、AINews は現在 Latent Space の一部となっています。メール配信頻度のオプトイン・オプトアウトが可能です！ AI Twitter リキャップ コーディングエージェント、Agent Ops、チャットから自動化への移行 エージェントインフラは、観測性と自動化ループの統合へと収束しています。複数の投稿が、生産環境向けのエージェント用スタックの成熟を指摘しており、LangSmith Engine はエージェント向けの欠けていた CI/CD ループとして位置づけられています。これは、本番環境からのトレースで自動的に障害を検出し、問題をクラスタリングし、修正や評価案を作成する機能を持っています。また LangChain も、大規模なトレースに対する低遅延クエリやセルフホスティング・マルチクラウド要件に対応した、エージェントの観測性および評価ワークロード専用のデータレイヤーとして SmithDB を強調しています (@krishdpi, @LangChain)。並行して、Cognition は Devin Auto-Triage をリリースし、長期的な記憶機能、マネージャー/サブエージェント構造、PR 生成機能を備えた、バグ・アラート・インシデントに対する常時稼働の「ファーストレスポンダー」として位置づけています。Modal のような初期ユーザーからは、典型的な独自開発のトライアージ自動化よりも有用であると評価されています (@cognition, @walden_yan, @russelljkaplan)。共通するパターンは、「エージェントとチャットする」ことではなく、トレース・記憶・評価に紐付いた永続的な自動化へとシフトしている点です。 コーディングエージェントの運用パターンはより具体化されつつあります：Anthropicは、Claude Codeを数百万行規模のモノレポやレガシーシステム、マイクロサービスで実行するためのベストプラクティスを公開し、プロンプトキャッシュ診断機能を追加するとともに、低遅延のコーディングワークフローのためにFastモードをOpus 4.7にデフォルト設定しました @ClaudeDevs, @ClaudeDevs, @ClaudeDevs。OpenAIはCodexワークフローにZoomプラグイン、モバイル/デスクトップでのリモート実行、「Macをスリープさせない」サポートを追加し、長時間稼働するジョブもスマホアプリから継続して実行できるようにしました @coreyching, @OpenAIDevs。MicrosoftはGitHub Copilot CLIおよびVS Codeのリモートコントロール機能を一般提供（GA）へ移行しました @code。これらの動向を通じて、製品方向性は明確です：対話型補完だけでなく、バックグラウンドでの実行、リモートからの監視、エージェントの分散展開が重視されています。 実践者たちは同じメンタルモデルに収束しつつあります：制約し、検証し、分解する——François Cholletによるコーディングエージェントを「盲鼠」として捉え、慎重に配置された検証可能な制約が必要だとする枠組みは、ハブ中心のエンジニアリングへのより広範な転換を簡潔に表しています @fchollet。関連するアドバイスとしては、Python/MLコードでアサート（assert）を多用して早期に失敗させること @gabriberton、長時間稼働するエージェント向けにエンドツーエンド評価と逐次評価の両方を構築すること @palashshah、またエージェント数を安易に最大化するのではなく、段階的な成熟度レベルでマルチエージェントシステムを構成することが挙げられます @shannholmberg。実務的なコンセンサスは以下の通りです：エージェントの品質は、プロンプトの巧妙さ alone ではなく、検証面（verification surfaces）、分解、フィードバックループによってより大きく依存します。 モデルリリース、ランキング変動、およびフロンティアコーディングモデル このバッチにおける目玉のモデル発表は Cursor の Composer 2.5 です。Cursor は Composer 2.5 をこれまでの最強モデルとして発表し、長時間実行タスクに対する持続的な作業能力の向上と、指示に従う信頼性の高さを強調しました。さらに深い戦略的動きとして、「SpaceXAI」を用いてゼロからより大規模なモデルを訓練する計画を明らかにしました。これには総計算リソースが 10 倍増し、Colossus 2 の百万 H100 相当のアクセラレータへのアクセスが可能になります @cursor_ai, @cursor_ai。コミュニティの反応は主にその効率性やコストパフォーマンス、そして優れたコーディング品質に集中しており、ユーザーからは Composer 2 から大きな飛躍であると評価されています。また、単なるベンチマーク数値の向上だけでなく、メッセージや更新における協働行動も改善されていると指摘されています @mntruell, @jonas_nelle, @kimmonismus。 Alibaba の Qwen シリーズは引き続き上昇傾向にあります。Qwen3.7 Preview が Arena に登場し、テキスト分野では総合 13 位（Qwen3.7 Max Preview）となりました。内訳としては、数学が 7 位、エキスパート分野が 9 位、ソフトウェア・IT が 9 位、コーディングが 10 位です。また、ビジョン分野では Qwen3.7 Plus Preview が総合 16 位を記録しました。これにより、Alibaba は Arena の集計においてテキスト分野で 6 番目、ビジョン分野で 5 番目のラボとなりました @arena, @Alibaba_Qwen。これは、中国のラボが単にヘッドラインとなるチャットベンチマークだけでなく、一般分野および専門分野の両方で着実に改善しているという広範なトレンドを裏付けるものです。 オープンモデルとマルチモーダルリリースは、メガ・フロンティアの下で継続しています。ByteDance は Lance をオープンソース化しました。これは画像・ビデオの理解、生成、編集を統合したマルチモーダルモデルとして説明されており、3B のビデオコンポーネント、3B のイメージコンポーネント、3B のデコーダーコンポーネントから構成されています (@bdsqlsz)。Perplexity は、pplx-embed-0.6b の継続学習バリアントとして、小規模なオープン多言語 ColBERT モデルをリリースしました。MaxSim カーネルの使用方法に関する注釈も含まれています (@bo_wangbo)。これらはフロンティア規模の発表ではありませんが、検索品質とネイティブなマルチモーダル統合という、オープンツールリングが依然として重要である 2 つの領域を対象としているため、技術的に意味があります。 推論、デプロイメント、およびローカル/エンタープライズサービング ローカル推論は、llama.cpp における MTP (Multi-Token Prediction) により顕著な速度向上を遂げました。Georgi Gerganov は llama.cpp で Qwen3.6 ファミリーに対する MTP サポートを発表し、これをローカル AI にとって重要なマイルストーンと呼びました (@ggerganov)。続報では、実用的なスループット向上が示されました。具体的には、A10G 上で draft-MTP フラグを使用した場合、Qwen3.6-27B デンスモデルの処理速度が 25 トークン/秒から 45 トークン/秒 (+78%) に向上しました (@victormustar)。これは、汎用ハードウェア上でのローカル環境とホスト型コーディング/一般アシスタントとの間の利用可能性のギャップを縮小する点で重要です。 エンタープライズ/オンプレミス展開の勢いは依然として強固です：Hugging Face と Dell は、NVIDIA B300 を搭載した PowerEdge XE9780 に最適化された Dell Enterprise Hub を通じて、Kimi K2.6、DeepSeek V4 Pro/Flash、GLM 5.1、MiniMax M2.7 などを含むモデルへのワンクリックアクセスを推進しました（@jeffboudier）。Clement Delangue は、オープンソースモデルに基づくオンプレミス/ローカル AI が GPU 不足に対する重要な解決策となり、コスト、レイテンシ、安全性およびデータ制御の面で優位性を持つと主張しています（@ClementDelangue）。 クロスハードウェア推論最適化はより洗練されつつあります：Zyphra は AMD Instinct MI355X 上でエンドツーエンドの推論ベンチマークを発表し、Kimi K2.6、GLM 5.1、DeepSeek V3.2 を提供する場合に、AMD のベースラインを大幅に上回り、NVIDIA B200 との差も縮小していると主張しています（@ZyphraAI）。これに補完する形で、Quentin Anthony はベンチマークにおいてハードウェアの限界値と現在のソフトウェア状態を区別する必要がある理由について有用なスレッドを投稿し、多くのクロススタック比較がベンダーの最大値、実現可能な GEMM 性能、およびソフトウェアの成熟度を混同していると論じています（@QuentinAnthon15）。インフラエンジニアにとっては、ベンチマークチャートを絶対的な真実ではなく、スタック依存のスナップショットとして扱うよう強く促す内容です。 研究：MoEs、RL/データミキシング、アーキテクチャ検索、およびエージェント評価 今週発表されたいくつかの論文は、モデルを大きくするのではなく、より良いトレーニング信号に焦点を当てていました。LeCun氏やTimor氏らの「Imagination におけるトレーニング」に関する要約では、モデルベース強化学習において、滑らかでリプシッツ定数が低い世界モデル・報酬モデルが誤差の上限を厳密にする点、報酬モデルはダイナミクスモデルよりも急速にスケールする傾向がある点、多くのノイズの多い報酬ラベルの方が少数の高品質なラベルより優れる可能性がある点、そしてバイアスのかかった報酬は特に危険である点が強調されました @TheTuringPost。一方、Pedagogical RL に関する別のスレッドでは、生徒の方針に対してあまりにも驚くべきものであれば、正しい推論のトレースでさえもトレーニングデータとして不適切であると主張されています。この手法では、特権的な教師に加え、スパイク検知報酬と驚異度ゲート付き模倣を用いて、生徒が実際に学習できる軌道生成を行っています @blc_16, @NoahZiems。 アーキテクチャおよびスケーリングに関する研究は依然として非常に実用的です。メタの AIRA によるエージェント型ニューラルアーキテクチャ発見の研究は、24 時間の計算予算内で検索を計画エージェント（AIRA-Compose）と実装エージェント（AIRA-Design）に分割することで、350M、1B、3B の規模において Llama 3.2 を上回る結果を出したため注目を集めました @omarsar0, @dair_ai。一方、「Slicing and Dicing MoEs」では 2,000 以上の MoE（Mixture of Experts）言語モデルのトレーニングを行い、設計空間の多くはノイズの多い MoE 設定に関する議論よりも、むしろエクスパートサイズとエクスパート数に帰着すると結論付けています @margs_li。 データ選択・評価手法は、主要な研究課題として浮上している：On-Policy Mix は、データ分布が絶えず変化する中で適切なデータミックスを見つけるという未解決の問題に焦点を当てており、事前学習、中間学習、指示微調整のすべてに応用可能である@michahu8。評価については、Cameron Wolfe がエージェント評価のためのガイドを発表し、Zhihu のより詳細な要約では、エージェント時代には静的知識や内部思考連鎖の能力だけでなく、「いつ検索・コード生成・推論を行うか、あるいはツールを呼び出すか」という委任知能（delegation intelligence）を測定する必要があると主張している@cwolferesearch, @ZhihuFrontier。これは現在の製品実践と密接に一致しており、難しい部分はテキストのみの推論ではなく、ますますツールの選択と検証ポリシーとなっている。 エコシステムにおける動き：SDK、収益獲得、オープンツールリング Anthropic が Stainless を買収：Anthropic は、API 初期から Anthropic SDK を支えてきた SDK および MCP サーバープラットフォームである Stainless の買収を発表した@AnthropicAI。戦略的には、これはモデル品質だけでなく、開発者体験（ergonomics）、SDK 生成、プロトコルインターフェースを中心とした継続的な垂直統合を示唆している。 基盤モデルプロバイダー周辺での収益集中が増加しているように見える：ある投稿では、34 の主要 AI スタートアップが生成する AI モデル・アプリケーション収益における Anthropic と OpenAI のシェアが増加していると主張されており、これはモデル選択肢が多様化する一方でエコシステムが経済的に集約されつつあることを示すシグナルである@amir。 ツールリングとデプロイのキュレーションは依然として需要が高い：The Turing Post がまとめた、vLLM、TGI、SGLang、llama.cpp、Ollama、BentoML、Kubeflow、MLflow などを含む 13 のオープンソース基盤モデルデプロイメントツールの総覧は、一連のキュレーション記事の中で最も実用的なものの一つであった @TheTuringPost。一方、Papers With Code は、AI エージェント支援によるメソッドの解析、リーダーボード、SOTA（State of the Art）追跡機能で復活し、研究の発見可能性への新たな焦点が強調されている @NielsRogge。 トップツイート（エンゲージメント順） Cursor の Composer 2.5 と大規模なトレーニング強化：最も信号強度が高くエンゲージメントも高かった製品ニュースは、Composer 2.5 と、Cursor が 10 倍の計算リソースを用いてゼロからより大規模なモデルをトレーニングしていることを明らかにした点である @cursor_ai, @cursor_ai。 開発者への影響を持つ OpenAI/Anthropic の製品アップデート：Sam Altman は、最新アップデートにより ChatGPT が大幅に改善されたと述べた @sama。一方、Anthropic は Claude Console に Fast モード（デフォルトで Opus 4.7 を使用）とプロンプトキャッシュ診断機能を搭載してリリースした @ClaudeDevs, @ClaudeDevs。 永続的な研究/エンジニアリングの枠組み：Richard Sutton の「Bitter Lesson」を 26 語に凝縮した内容、すなわち計算リソースにスケールする知識生成のためのメソッド（検索や学習など）への焦点は、最もエンゲージメントの高い研究関連投稿の一つであり、今週のエージェントハネス、検索、検証器駆動システムに関する多くのテーマと共鳴した @RichardSSutton。 AI Reddit リキャップ /r/LocalLlama + /r/localLLM リキャップ 1. LLM セーフティベンチマークとアブリレーション（Abliteration）のフォレンジック 続きを読む 翻訳全文

[AINews] フロンティアラボでの就職に成功する方法（事前学習編）

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト