自己進化型AIエージェントのためのGoogleのSkillOS（22分読み）
Google は、過去の経験からスキルを自動収集・選別する「SkillOS」という強化学習アプローチを発表し、LLM エージェントの自己進化における長期的なキュレーション課題を解決する新手法を提案した。
キーポイント
既存手法の限界と課題
従来のエージェントは手動キュレーションやヒューリスティックに依存しており、間接的・遅延フィードバックから複雑な長期スキル選別方針を学習することが困難である。
SkillOS のアーキテクチャ
スキルを取得・適用する「凍結されたエージェント実行部」と、蓄積した経験から外部の SkillRepo を更新する「訓練可能なスキルキュレーター」を組み合わせる構成を採用している。
複合報酬による学習
キュレーションプロセスに学習信号を与えるため、複合的な報酬設計（composite rewards）とタスクグループ化を用いた強化学習トレーニングレシピを提案した。
重要な引用
Reusable skills distilled from experience provide a natural substrate for self-evolution, where high-quality skill curation serves as the key bottleneck.
To tackle this challenge, we propose SkillOS, an experience-driven RL training recipe for learning skill curation in self-evolving agents.
影響分析・編集コメントを表示
影響分析
この研究は、AI エージェントが単発的な問題解決から、継続的に学習し能力を向上させる「自己進化型」システムへと移行する上で不可欠な技術的基盤を提供します。特に、経験からの自動キュレーションメカニズムを確立した点は、実環境での長期運用におけるエージェントの信頼性と効率性を劇的に高める可能性があります。
編集コメント
エージェントの「記憶」と「学習」を自律的に管理する仕組みとして、SkillOS は実用化に向けた重要な一歩です。特に、遅延フィードバック下での最適化手法は、複雑な業務自動化システムの実現において極めて示唆に富む内容となっています。
著者：Siru Ouyang, Jun Yan, Yanfei Chen, Rujun Han, Zifeng Wang, Bhavana Dalvi Mishra, Rui Meng, Chun-Liang Li, Yizhu Jiao, Kaiwen Zha, Maohao Shen, Vishy Tirumalashetty, George Lee, Jiawei Han, Tomas Pfister, Chen-Yu Lee
**
要約：LLM ベースのエージェントはストリーミングタスクの処理にますます展開されていますが、過去の相互作用から学習しない単発の問題解決者に留まることが多くあります。経験から抽出された再利用可能なスキルは、自己進化のための自然な基盤を提供しますが、高品質なスキルの選別が主要なボトルネックとなります。既存のアプローチは、手動によるスキル選別に依存するか、ヒューリスティックなスキル操作を規定するか、短期間のスキル操作のために訓練するものですが、間接的かつ遅延されたフィードバックから複雑な長期の選別ポリシーを学習することには依然として苦労しています。この課題に対処するため、私たちは SkillOS を提案します。これは自己進化型エージェントにおけるスキル選別を学習するための経験駆動型の強化学習（RL）トレーニングレシピです。SkillOS は、スキルを取得して適用する固定されたエージェント実行器と、蓄積された経験から外部の SkillRepo を更新する訓練可能なスキル選別器を組み合わせています。選別に対する学習シグナルを提供するために、私たちは複合報酬を設計し、スキル関連タスク依存関係に基づいてグループ化されたタスクリストで訓練を行います。これにより、初期の軌道が SkillRepo を更新し、後続の関連タスクがこの更新を評価します。多ターン型エージェントタスクと単一ターンの推論タスクの両方において、SkillOS は効果性と効率性の面でメモリフリーおよび強力なメモリベースの基底モデルを一貫して上回り、学習されたスキル選別器は異なる実行器バックボーンやタスクドメインにわたって一般化します。さらなる分析では、学習された選別器がよりターゲットを絞ったスキル使用を生み出す一方で、SkillRepo 内のスキルは時間とともに高レベルのメタスキルを符号化する、より豊かに構造化された Markdown ファイルへと進化することが示されています。
**
コメント:
11 ページ、6 つの図、3 つの表
分野:
人工知能 (cs.AI); 計算と言語 (cs.CL)
引用形式:
arXiv:2605.06614 [cs.AI]
（または、このバージョンについては
arXiv:2605.06614v1 [cs.AI]）
https://doi.org/10.48550/arXiv.2605.06614
DataCite 経由の arXiv 発行 DOI
提出履歴
From: Siru Ouyang [メールを表示]
[v1]**
2026 年 5 月 7 日木曜日 17:31:50 UTC (5,509 KB)
原文を表示
Authors:Siru Ouyang, Jun Yan, Yanfei Chen, Rujun Han, Zifeng Wang, Bhavana Dalvi Mishra, Rui Meng, Chun-Liang Li, Yizhu Jiao, Kaiwen Zha, Maohao Shen, Vishy Tirumalashetty, George Lee, Jiawei Han, Tomas Pfister, Chen-Yu Lee
Abstract:LLM-based agents are increasingly deployed to handle streaming tasks, yet they often remain one-off problem solvers that fail to learn from past interactions. Reusable skills distilled from experience provide a natural substrate for self-evolution, where high-quality skill curation serves as the key bottleneck. Existing approaches either rely on manual skill curation, prescribe heuristic skill operations, or train for short-horizon skill operations. However, they still struggle to learn complex long-term curation policies from indirect and delayed feedback. To tackle this challenge, we propose SkillOS, an experience-driven RL training recipe for learning skill curation in self-evolving agents. SkillOS pairs a frozen agent executor that retrieves and applies skills with a trainable skill curator that updates an external SkillRepo from accumulated experience. To provide learning signals for curation, we design composite rewards and train on grouped task streams based on skill-relevant task dependencies, where earlier trajectories update the SkillRepo, and later related tasks evaluate these updates. Across multi-turn agentic tasks and single-turn reasoning tasks, SkillOS consistently outperforms memory-free and strong memory-based baselines in both effectiveness and efficiency, with the learned skill curator generalizing across different executor backbones and task domains. Further analyses show that the learned curator produces more targeted skill use, while the skills in SkillRepo evolve into more richly structured Markdown files that encode higher-level meta-skills over time.
Comments:
11 pages, 6 figures, 3 tables
Subjects:
Artificial Intelligence (cs.AI); Computation and Language (cs.CL)
Cite as:
arXiv:2605.06614 [cs.AI]
(or
arXiv:2605.06614v1 [cs.AI] for this version)
https://doi.org/10.48550/arXiv.2605.06614
arXiv-issued DOI via DataCite
Submission history
From: Siru Ouyang [view email] [v1]
Thu, 7 May 2026 17:31:50 UTC (5,509 KB)
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み