ヘルメス対オープンクロー、サイバーセキュリティ警報の鳴動、より対話的な会話、エージェントは人間の仕事ができるか？

親愛なる皆様、 ハーバード大学は先ほど、学部生クラスでの A 評価の数をクラスの約 20% に制限するよう[投票](https://www.thecrimson.com/article/2026/5/20/fas-passes-a-grade-cap/)しました。私はこの方針には賛成できません。これは私が教育が持つべき姿と信じていることに深く反するからです。高い基準を維持すべきですが、同時に学習者の一部ではなく 100% の成功を支援するために全力で取り組むべきです。 ハーバードの学長部は、学生団体の多くからの反対を押し切ってこの措置をとりました。その目的は成績のインフレ（grade inflation）に対抗するためです。成績のインフレは確かに存在します：多くの大学では A や B の評価がより多くの学生に与えられ続けており、これが学生の技能を示す指標としての GPA（Grade Point Average: 平均成績評定値）の有用性を低下させています。同時に、私たちは学生が成功することを望んでいます。この問いの核心は教育機関の役割にあります。私たちの目標とは： - 学生の成功を支援することか？ - 学生を評価することか？ これら両方にも価値があります。しかし、私が教育に関わる際の焦点は、ほぼ完全に学生の成功を支援することに置かれています。 私にとって明確なのは、多くの人々が学びたいと願い、力を得て、新しいことができるようになるスキルを築きたいと考えているということです！これが DeepLearning.AI で私たちが注力していることです。この哲学こそが、私のオンラインコース（Coursera での早期のスタンフォード大学でのオンライン講座にまで遡ります）で、評価課題に対して無制限のリトライを許可してきた理由でもあります。 私は、誰かが成功するまで何かをやり直すことを許し、むしろ奨励すべきだと信じています。これは、彼らが初めて正しくできなかったという事実に対して裁くことに反対するものです。また、宿題の課題は、主に技能レベルを判断するためではなく、人々が練習して学ぶのを助けるために設計されるべきだと信じています。これが私が「演習問題」や「演習ラボ」を作成することを好む理由です。これらは、考え抜くことで実践の機会を与え、既知の知識を強化する質問です。一方、「評価問題」は主に技能を判断するために設計されています。 ![image](https://charonhub.deeplearning.ai/content/images/2026/05/Screenshot-2026-05-21-at-12.06.37---PM-2.png)しかし、ハーバード大学のこの動きは GPA（成績平均点）をより意味のあるものにし、将来の雇用主が強力な候補者を特定するのを助けるのでしょうか？私はハーバード大学や他の機関から多数の人材を採用してきましたが、GPA は重要なシグナルではないと自信を持って言えます。私たちが採用しているスクリーニングや面接のプロセスは、誰が本当に技能を持っているかを把握するための、はるかに正確な方法を提供しています。誰が本当に優れているかを見極めるために、応募者の GPA スコアのばらつきを広くする必要はありません！ 明確にしておきますが、評価にも価値があります。標準化されたテストは非常に嫌われる傾向がありますが、SAT、ACT、GRE、TOEFL などの高品質なテストは、特定の分野における能力の客観的な指標を提供します。私は、ほとんどの人が学びたいと願い、成功したいと考えていると感じています。また、厳格な評価を望む人々もいます（例えば、学校への入学申請のためなど）。しかし、これはより次要的なニーズであり、教育製品を構築する際の私の焦点ではありません。 ハーバード大学はしばしば「エリート」教育機関として説明されます。エリートであるには2つの方法があります。1 つの選択肢は、入学者数を制限し、さらに合格者の中でも成功する人の数を 20% に制限することです。私は別の道を選びたいと考えています：高い基準を設定し、エリートで最先端のスキルを教える一方で、誰もが成功できるよう尽力することを絶えず目指すのです。このようにして、「エリート性」は人々を排除することによって定義されるのではなく、できるだけ多くの人々が卓越した存在となるよう支援することによって定義されます。 学び続けましょう！ アンドリュー ## DEEPLEARNING.AI からのメッセージ 画像や動画を生成し、自身の出力を評価して結果を改善するための反復を行う AI エージェント（AI agents）を構築しましょう。この新しい短期コースでは、UI のモックアップ用や多シーン動画解説用のビジュアルメディアエージェントを構築する際に、画像とテキストの類似度スコアリング、LLM による判定者（LLM judges）、構造化された評価基準（structured rubrics）を活用します。[無料で受講する](https://www.deeplearning.ai/courses/ai-agents-for-image-and-video-generation) ## News ![image](https://charonhub.deeplearning.ai/content/images/2026/05/HERMES-1.webp) ## Hermes エージェントが OpenClaw に挑戦 OpenClaw は非常に人気のある AI エージェントですが、急速に台頭する競合相手が出てきました。 **最新情報:** 2 月にニューヨークを拠点とする AI ラボである Nous Research が公開したオープンソースの [Hermes Agent](https://hermesagents.net/) が、AI モデルプラットフォーム OpenRouter によって集計された [データ](https://openrouter.ai/apps) に基づくリーダーボードで、エージェントが毎日消費するトークン数を追跡する項目において、OpenClaw を上回りました。一部のユーザーは Hermes Agent がトークンの効率が低いと [不満を述べています](https://www.reddit.com/r/openclaw/comments/1sky2w1/openclaw_vs_hermes_agent_my_experience_after/) が、新しいスキル（専門的な指示、ワークフロー、および/またはドメイン知識）を定義し、洗練させる能力は、自己改善が中核的なエージェント機能であることを浮き彫りにしています。こちらからダウンロードできます [here](https://github.com/NousResearch/hermes-agent)。 **仕組み:** Hermes エージェントの[機能](https://hermes-agent.nousresearch.com/docs/)は、OpenClaw のそれらと大きく重複しています。Hermes エージェントが主に異なるのは、そのメモリアーキテクチャとスキルを自動的に構築する能力です。これはローカルまたはクラウドで実行するように設計されており、多様な大規模言語モデルをサポートし、約 20 のメッセージングサービスと統合されています。ブラウザからログインした後に新しいアクセストークンを生成するモデル（またはローカルで動作するモデル）を使用することで、API キーを保存せずにすぐに運用を開始することが可能になります。これはエージェント通信プロトコルを通じて統合開発環境とも連携します。 - エージェントループ：OpenClawと同様に、Hermes Agent のエージェントループは以下の通り機能します。(i) エージェントは、定義された人格、指示、ツール、スキル、メモリ、ユーザーに関する知識、および最新のメッセージを含む会話履歴に基づいてプロンプトを構築します。(ii) プロンプトが関連する大規模言語モデル（LLM）の入力制限を超えた場合、会話履歴内の古いメッセージの要約を LLM に依頼してサイズを縮小します。(iii) 構築されたプロンプトを LLM に送信し、ツールの呼び出し、スキルの呼び出し、またはユーザーへの応答のいずれかを行います。(iv) スキルまたはツールを呼び出した場合、その呼び出しを実行し、これによりツール呼び出し、スキル呼び出し、またはユーザーへの応答が出力されます。このサイクルは、モデルがユーザーに応答を生成するまで繰り返されます。 - スキル：Hermes Agent は、bash スクリプトの実行、ウェブ検索やファイル検索、データベース照会などを行うツールを呼び出すことでタスクを完了する方法を指示する指示ファイルに、標準的な SKILL.md 形式を使用します。組み込みのスキルが付属しており、追加のスキルは Skills Hub から利用可能です（ただし、現時点では OpenClaw の膨大なクラウドソーシング型スキルライブラリに比べると非常に小規模です）。しかし、Hermes Agent は新しいスキルも自動的に作成します。Hermes Agent が問題に対して長時間取り組んだりエラーを修正したりしてタスクの完了と判断した場合、ツールを呼び出してスキルを作成します。エージェント生成によるスキルの肥大化を防ぐため、Curator と呼ばれる追加のバックグラウンドシステムが機能し、(i) 90 日以上使用されていないすべてのスキルを別フォルダに移動してアーカイブし、(ii) LLM を用いて各スキルを現状維持するか、他のスキルと統合するか、アーカイブするべきかを判断します。 - メモリ：Hermes Agent はプロンプトに追加する 2 つの一般的なメモリファイルを保持しています。1 つはユーザーの好意を詳細に記述したものであり、もう 1 つはワークフローや教訓に関する情報を含んでいます。これらのファイルへの追加には組み込みのメモリツールを呼び出します。メモリを追加すると判断した場合、そのメモリが追加する価値があるか、どちらのファイルに追加すべきかをチェックします（例えば、類似のメモリが既に存在する場合や、メモリ内容が曖昧すぎる場合は追加しません）。メモリの追加により所定のファイル長を超えると判断した場合、関連するメモリファイルを精査し、関連するエントリを統合します。Hermes Agent はまた、別のツールを使用して検索可能な会話データベースも保持しています。さらに、各メッセージの後にユーザーのアイデンティティを分析して好意、目標、パターンを導き出す Honcho などの外部メモリプロバイダを活用することもできます。 - 永続的なゴール追跡：ユーザーはメッセージ内でゴールを指定できます。エージェントが応答を終了すると、ゴールが完了したかどうかを評価するために判別モデル（judge model）を呼び出します。完了していない場合、作業を継続します。このループは、ゴールが完了と判断されるか、またはエージェントが最大ターン数に達するまで続きます。Anthropic の Claude Code、OpenAI の Codex、および OpenClaw（プラグイン経由）も同様の機能を提供しています。 **ニュースの背景：** エージェント機能は、大規模言語モデルが多段階にわたる計画能力、過去の出力に対する自己省察能力、およびオンラインでアクションを実行するための外部ツールの利用能力を獲得したことで登場しました。2025 年には、Anthropic の Claude Code や OpenAI の Codex といったコーディングエージェントがソフトウェア開発者の間で注目を集め、より自律的な AI システムへの熱狂を高めるのに貢献しました。2026 年初頭には、OpenClaw が継続的に実行してオンラインタスクを実行し、WhatsApp や Telegram などのメッセージングプラットフォームを通じて対話するパーソナルエージェントとしてオープンソースの現象となりました。その発明者は後に OpenAI に加入しました。OpenClaw の人気と、ローンチ時のセキュリティ問題により、「Claw」に似たエージェント群が相次いで登場し、2026 年 2 月には Hermes Agent も含まれました。使用の容易さが高まり、自己改善行動がより堅牢になった successive なリリースに伴い、同年 4 月下旬から 5 月にかけて関心は加速しました。 **なぜ重要なのか:** 汎用エージェントは、AI ドライブ型の機能の領域を急速に拡大しています。典型的な機能セットが形成されつつありますが、新しい機能もまだ登場し続けています。より洗練されたメモリと、成功した行動をスキルに変換する能力を持つ Hermes エージェントはその好例です。これは、ステートレスな AI アシスタントから、経験を蓄積し、ユーザーに適応し、単発のタスクを超えて継続的な業務を自動化するエージェントへと移行する兆候を示しています。 **私たちが考えていること:** 自然に思えるかもしれませんが、特定の LLM（大規模言語モデル）、メッセージングプラットフォーム、またはスキル形式に縛られないオープンソースのエージェントは特に価値があります。これらのエージェントは、通常のメッセージングチャネルで利用可能であり、そのハーン（枠組み）の制限内で利用可能な最良の AI モデルを活用できます。 ![image](https://charonhub.deeplearning.ai/content/images/2026/05/INTERACTION-1.webp) ## 内蔵された対話型インタラクション 対話モデルは通常、ターン（発言順）を待ってから応答します。Thinking Machines Lab のシステムは、同時に聞き、観察し、応答します。 **何が新しいか:** [TML-Interaction-Small](https://thinkingmachines.ai/blog/interaction-models/) は、オーディオ、ビデオ、テキスト入力を処理し、ユーザーが完了するのを待たずに出力を並行して生成するマルチモーダルシステムです。現在テスト中であり、Thinking Machines Lab は今年後半に利用可能にする予定です。 - 入力/出力：音声、動画、テキストの同時入力と、音声およびテキストの同時出力 - アーキテクチャ：エキスパート混合型トランスフォーマー（全パラメータ数 2760 億、トークンあたりアクティブなパラメータ数は 120 億）、非公開アーキテクチャの別個の背景推論モデル - 機能：リアルタイムのターン交代と割り込み、同時入力・出力（例：ライブ翻訳）、視覚的合図に基づく能動的な介入、会話中に割り込まずに推論を行いツールを呼び出す別個のモデル - パフォーマンス：対話性ベンチマークでは他の音声モデルをリードするが、知能性ベンチマークでは GPT-Realtime-2 の最強推論モードには及ばない - 利用状況：今後数ヶ月間はクローズドな研究プレビューとして提供され、2026 年後半に一般リリース予定 - 非公開情報：トレーニングデータと手法、知識の截止日、コンテキストウィンドウ、価格設定、背景モデルのアーキテクチャ **仕組み:** TML-Interaction-Small は、会話をリアルタイムで処理する高速な対話モデルと、推論を行う非同期型の背景モデルという 2 つのコンポーネントを組み合わせる。この対話モデルは、典型的な入力と出力の交互ではなく、思考機械研究所（Thinking Machines Lab）が「マイクロターン」と呼ぶ 200 ミリ秒単位の処理チャンクを入力処理と出力生成にインターリーブさせる。音声、動画、テキストを並列ストリームとして処理することで、入力の終了と出力の生成の間に知覚される境界線を排除する。 - インタラクションモデルは、離散化された音声トークン、40x40 ピクセルの画像パッチの埋め込み（階層型多層パーセプトロンによって生成）、およびテキストの埋め込みを入力として受け取ります。 - 音声とテキストをフローマッチングデコーダを通じて生成します。Thinking Machines Lab はこのアプローチを「エンコーダーフリーの早期融合」と呼んでいます。これは、多くのマルチモーダルシステムが必要とする大規模な事前学習済みエンコーダー（OpenAI Whisper が音声に使用し、ビジョントランスフォーマーが画像に使用するものなど）をスキップするためです。チームは、トランスフォーマー、パーセプトロン、デコーダをゼロから一緒に訓練しました。 - インタラクションモデルは、推論、ウェブブラウジング、ツール呼び出しの処理を非同期で実行するバックグラウンドモデルに委譲します。両者は同じコンテキストを共有しており、インタラクションモデルは必要に応じてバックグラウンドモデルの出力を会話に織り交ぜます。 **パフォーマンス:** Thinking Machines Lab のテストでは、TML-Interaction-Small は対話性を評価するベンチマークにおいて他の音声モデルを上回りましたが、知能を評価するテストでは [GPT-Realtime-2](https://www.deeplearning.ai/the-batch/openai-challenges-speech-to-speech-leaders) の最強の推論モードには及びませんでした。 - FD-bench V1 は会話のターンにおける音声遅延を測定するベンチマークですが、TML-Interaction-Small は 0.40 秒で応答し、最小推論に設定された Gemini-3.1-flash-live-preview（0.57 秒）や GPT-Realtime-2（最小推論設定で 1.18 秒）よりも大幅に高速でした。 - FD-bench V1.5 はモデルの割り込み管理能力、"uh huh" などの相槌、および前景と背景の音声の区別能力を評価するテストですが、TML-Interaction-Small は平均品質 77.8 を達成し、高推論に設定された GPT-Realtime-2（平均品質 47.8）や Gemini-3.1-flash-live-preview（高推論設定で平均品質 45.5）を大きく上回りました。 - Audio MultiChallenge は多ターン音声対話における推論能力と指示従順性をテストするもので、TML-Interaction-Small は APR（平均合格率：モデルがすべての基準を満たした会話の割合）43.4 パーセントを記録しました。これは高推論に設定された GPT-Realtime-2（APR 48.5 パーセント）には及びませんでしたが、高推論に設定された Gemini-3.1-flash-live-preview（APR 36.1 パーセント）を上回りました。 - BigBench Audio は音声推論をテストするもので、背景モデルを有効化した TML-Interaction-Small は 96.5 パーセントの精度を達成しました。これは高推論に設定された GPT-Realtime-2 と Gemini-3.1-flash-live-preview（ともに 96.6 パーセントで同率）にはわずかに劣る結果でした。 **ニュースの背景:** Mira Murati が Thinking Machines Lab を設立してから約 15 ヶ月後に登場した TML-Interaction-Small は、同社の初の公開モデルとなることを約束しています。このスタートアップは 10 月に、多数の GPU でモデルをファインチューニングしやすくするファインチューニング API [Tinker](https://www.deeplearning.ai/the-batch/thinking-machines-new-tinker-api-makes-it-easier-to-fine-tune-models-on-many-gpus) をリリースしました。今年、他の 4 つの企業も、リアルタイムで音声を聞き、話し、動画や画像を認識し、割り込みを適切に処理できるモデルを発表しています。OpenBMB は 2 月に 90 億パラメータの [MiniCPM-o](https://github.com/OpenBMB/MiniCPM-o) をオープンソース化し、Google は 3 月に [Gemini 3.1 Flash Live](https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-1-flash-live/) を、Alibaba は [Qwen3.5 Omni](https://x.com/alibaba_cloud/status/2043969942660534710) をそれぞれ発表しました。また OpenAI は 5 月に [GPT-Realtime-2](https://openai.com/index/advancing-voice-intelligence-with-new-models-in-the-api/) をリリースしています。 **なぜ重要なのか:** モダリティを横断するモデルは、GPT-Realtime-2 のようにユーザーに 1 秒以上待たせるか、あるいは適切な合図に応答できないことが多い。リアルタイムで聴き、視覚化し、応答するモデルは、ターンベースのシステムではサポートできないようなインタラクションを可能にする。例えば、スポーツコーチングや手術モニタリングなどがその例だ。サイズが公表されているモデルの中で、TML-Interaction-Small は対話パフォーマンスのために特別に訓練されたものとしては最大規模であり、2760 億パラメータを持つ。一方、最もアーキテクチャ的に類似した競合である MiniCPM-o 4.5 の公開済みのパラメータ数は 90 億だ。Thinking Machines Lab は、より大規模な事前学習済みインタラクションモデルを保有しているが、まだリアルタイム対話のために十分な速度で提供できておらず、今年後半にリリースする予定だと述べている。 **私たちが考えていること:** TML-Interaction-Small のアーキテクチャが、AI Fund のポートフォリオ企業であり、[以前](https://www.deeplearning.ai/the-batch/building-voice-enabled-apps-is-easier-than-you-may-think)取り上げた Vocal Bridge が採用するアプローチとどう異なるかを指摘しておく価値があります。TML-Interaction-Small では前景モデルと背景モデルが共同訓練されるのに対し、Vocal Bridge はオーケストレーション（調整）アプローチを採用しています：リアルタイム音声モデルがツール呼び出しを使用して重いクエリを別の推論モデルに委譲し、その出力を会話に織り交ぜます。このアプローチの利点は柔軟性であり、任意のリアルタイムモデルを任意の推論エンジンと組み合わせることができ、追加の訓練は不要です。一方、欠点としては、レイテンシが基盤となる API によって制約されること、システムが本質的にターンベース（交互応答型）であること、そして前景と背景間のハンドオフが学習ではなくオーケストレーションによって行われることが挙げられます。 ![image](https://charonhub.deeplearning.ai/content/images/2026/05/GOOGLEHACK-1.webp) ## セキュリティアラームの警報音がより大きくなる Google のレポートによると、2 段階認証を回避するための AI 生成スクリプトは、産業規模のサイバー攻撃の時代が到来していることを示唆しています。 **何が新しいか:** ハッカーは大規模言語モデルを使用して、以前に知られていなかった脆弱性を特定し、広く使用されている Web 管理ツールを乗っ取ることを可能にした。Google のセキュリティ研究者が[報告](https://cloud.google.com/blog/topics/threat-intelligence/ai-vulnerability-exploitation-initial-access)している。研究者らは、犯罪者がこの手法を大規模に利用する計画を立てていたと信じており、その発見によりより広範な攻撃が阻止された。彼らの研究は、大規模言語モデルの着実な進展によって引き起こされるさまざまなサイバーセキュリティ脅威について概説している。 **仕組み:** Google チームは、大規模言語モデルがどのようにしてサイバー攻撃の実行をより迅速かつ容易にしているかについていくつかの方法を特定した。LLM（大規模言語モデル）は以前にもサイバー攻撃を支援しており[1]、Anthropic は最近、自社の[Claude Mythos Preview](https://www.deeplearning.ai/the-batch/why-claudes-advanced-mythos-preview-model-will-be-limited-release-only) モデルが未知の脆弱性を発見できる可能性があると警告したが、今回の報告は今後登場するであろうアプローチの一覧を提供している。 - モルフィングマルウェア：LLM は、コードの要素を変更して検知を回避するマルウェアを生成できます。このようなプログラムには、いわゆる変異エンジンが含まれており、複製したり新しいシステムに感染するたびに、復号化ルーチンを再書き換えたり、同じ結果をもたらす別のコマンドに置き換えたり、機能的ではないサブルーチンを追加したりするなど、機能を変えずに自己改変を繰り返します。この手法は、悪意のあるペイロードをそのまま保ちながらウイルス対策ソフトによる検知を回避し、データ窃取やバックドアの設置、ファイル暗号化などの攻撃の危険性を高めます。 - 論理的欠陥の特定：セキュリティ専門家がコードのバグを見つけるために通常使用するツールは、既知のパターンを検出するか、システムが壊れるまでランダムなデータを浴びせることで動作することが多いのに対し、LLM はコードが意図するところを推論し、その推論を適用して論理的欠陥を特定できます。この機能により、通常のツールでは見えない脆弱性を発見でき、これを見つけるには人間の専門家による集中的なレビューが必要となるケースもあります。 - 隠蔽ネットワーク：脅威アクターは、攻撃の発生源を隠し、痕跡を消し、防御を迂回するために、アドホックなルーター、サーバー、専門技術のセットを編成することがよくあります。AI を活用したツールは、悪意のあるトラフィックを複数の侵害された仲介サーバー経由で誘導しつつ、一般的なセキュリティ監視器が警報を発するパターンを回避できます。 - 不十分な AI インフラストラクチャ：AI インフラストラクチャ自体も、ハッカーにとって魅力的な標的になりつつあります。攻撃に AI を利用して隠蔽するだけでなく、攻撃者はネットワークへの侵入点として AI ツール、モデル、周辺ソフトウェアを標的にすることが増えています。セキュリティが不十分なコンポーネントを侵害されることで、攻撃者はシステム内部へ深く浸透し、データを窃取したりランサムウェアを展開したり、業務を妨害したりするための足掛かりを得ます。 **ニュースの背景：** セキュリティ担当者や政策決定者は、Claude Mythos Preview を踏まえて防御策とガバナンス措置の見直しを行っています。セキュリティ企業 Calif の研究者は、このモデルを使用して Apple の famously 堅牢なセキュリティに [侵入](https://blog.calif.io/p/first-public-kernel-memory-corruption) しました。Calif はこの脆弱性攻撃を Apple に報告し、Apple はパッチの作成に取り組んでいます。一方、英国支援の AI セキュリティ研究所（AISI）は、Claude Mythos Preview と OpenAI の GPT-5.5 が、人間であれば通常 3 時間かかるはずの攻撃を確実に実行できることを [報告](https://www.aisi.gov.uk/blog/how-fast-is-autonomous-ai-cyber-capability-advancing) しました。これは以前の予測である 1 時間よりも大幅に長い時間です。（Claude Opus 4.6 のデビュー時には、人間が 30 分かかる攻撃を実行可能でした。）AISI のテストでは、モデルの出力トークンを 250 万トークンに制限しましたが、より多くのトークンを使用できるようにすると、人間のアタッカーがさらに長い時間を要する攻撃を実行できることが確認されました。 **なぜ重要なのか:** Google の調査結果は、大規模言語モデル（LLM）のセキュリティ脆弱性の発見能力と、広く使われているセキュリティ手法との間の格差が広がっていることを示しています。報告書で説明されている自動化された産業スケールの攻撃は、次世代 LLM がバグを悪用する速度がサイバーチームがパッチを実装する速度よりも速くなる可能性があることを暗示しています。その調査結果は、AI が防御・攻撃の両方のツールであり、かつ攻撃の主要な標的であるため、さらなる連邦政府による監視を促し、規制および商業的な取り組みの双方を複雑にする可能性があります。 **私たちが考えていること:** Claude Mythos Preview [確認](https://blog.cloudflare.com/cyber-frontier-models/) を使用した専門家は、これがセキュリティ脅威と防御の両方にとって明確な進歩であることを確認しています。現在のパッチラウンドがネットワークをより安全にし、得られた教訓がさらなる AI の進展の安全な展開に貢献することを私たちは楽観視しています。それに加えて、ソフトウェア開発者は、脅威アクターが発見する前に脆弱性を発見できるように、予防的な防御研究により多くの注意を払う必要があります。 ![image](https://charonhub.deeplearning.ai/content/images/2026/05/REAL-1.webp) ## 人間の業務を反映したエージェントベンチマークに向けて AI エージェントは経済的に価値のあるタスクを実行する能力がますます高まっているようですが、現在のベンチマークはこの能力を非常に限定的にしか測定していません。 **何が新しいか:** カーネギーメロン大学とスタンフォード大学の Zora Z. Wang 氏ら [研究者](https://arxiv.org/abs/2603.01203) は、エージェントベンチマークから抽出した例を、米国の労働統計にマッピングしました。このマッピングにより、一般的にソフトウェア開発を重視するテストと、多くの人々が実際に従事する多様な業務との間に不一致があることが明らかになりました。 **重要な洞察:** エンジニアは「バブルソートを実装する」のように技術用語でベンチマークの例を記述する傾向がありますが、経済学者は「在庫追跡、データ保存または検索、その他の機器制御などの特定のタスクを処理するためにコンピュータプログラムやソフトウェアパッケージを書き、更新し、維持する」といった標準化された記述を用いて業務活動を説明します。また、仕事は「コンピュータを使用する」のように、その職務に必要なスキルという観点からも記述されます。大規模言語モデルはこの間の翻訳が可能です。この機能により、ベンチマーク例の相対的分布と業務活動・スキルの相対的分布を比較することが可能になります。 **仕組み:** 著者らは、SWE-bench や WebArena など 43 のエージェントベンチマークから抽出した 10,000 件を超える代表的なサンプルを集めました。著者らは、米国政府の [O*NET](https://www.onetcenter.org/database.html) に基づいて 2 つの分類体系を構築しました。(i) 職業（コンピュータ関連業務活動 5,806 項目を含む）および (ii) 41 の関連スキルです。 - 彼らは、米国における各職業の雇用者数と中央賃金データを取得し、各職業およびスキルに関連する労働者の総数と資本（雇用者数×賃金）を計算した。 - Claude 3.5 Sonnet を用いて、ベンチマーク例をすべての関連するコンピュータベースの仕事活動およびスキルに照合した。例えば、「バブルソートを実装する」というベンチマーク例を、「コンピュータプログラムの作成、更新、保守……」という仕事活動および「コンピュータの使用」というスキルに対応させた。 - 費用を抑えるため、各ベンチマークから一度に5つの例をランダムにサンプリングし、それら仕事活動やスキルにマッピングした。どちらの分類体系における総カバレッジが0.1%未満しか増加しない場合、サンプリングを停止した。実際には、ベンチマークに300 個未満の例が含まれている場合はすべてを含め、その他のほとんどのベンチマークでは約300 個の例をサンプリングした。 **結果:** マッピングの結果、エージェント用ベンチマークは主にソフトウェアエンジニアリングにおけるパフォーマンスを測定しており、これは雇用市場におけるより広範な雇用および資本の分布とは明らかに異なることが示された。 - ベンチマークは、「コンピュータおよび数学」関連の職業（8,622 例）に焦点を当てており、「事務・管理サポート」（3,186 例）や「経営管理」（676 例）に比べてその比重が圧倒的に大きい。一方、米国では「コンピュータおよび数学」分野の雇用者数は（520 万人）、「事務・管理サポート」（1,820 万人）や「経営管理」（1,100 万人）と比べると大幅に少ない。同様に、米国の雇用主が支払う給与総額を見ても、「コンピュータおよび数学」専門職は年間 5,636 億ドルであり、「事務・管理サポート」（8,698 億ドル）や「経営管理」（1兆3,263 億ドル）に比べて数百億ドル少ない。 - 各ベンチマークがカバーした作業活動の割合は全体的に 50% を下回り、必要なスキルのカテゴリーでも 60% に満たなかった。両方のカテゴリを最もよくカバーしていたのは GDPval で、これは作業活動の 47.8% とスキルの 58.5% を網羅していた。すべてのベンチマークを合計すると、作業活動のカバー率は 56.5% となるが、著者らが定義した 41 のスキルカテゴリについては 85.4% をカバーしている。 **なぜ重要なのか:** エージェントはソフトウェアエンジニアリングの分野で生産性を劇的に向上させており、経済を構成する他の職業においても同様の成果をもたらす可能性がある。エージェント用ベンチマークと人間の労働分布との間のギャップを特定することは、未開拓の可能性を示唆している。事務、財務、管理部門向けのエージェントを開発すれば、より高い経済的価値を生み出し、労働力のより大きな部分を支援できるだろう。 **私たちが考えていること：** 現在のエージェント性能のベンチマークがソフトウェアエンジニアリングに焦点を当てているのは理にかなっています。エージェントによるコーディングはまさに火がついています！ある意味では、ソフトウェアエンジニアリングは、他の種類の業務へのエージェント AI の適用を実践するためのインキュベーター（育成装置）であり、より広範な業務活動における性能を測定するベンチマークも、いずれ適切な時期に登場すると信じています。

ヘルメス対オープンクロー、サイバーセキュリティ警報の鳴動、より対話的な会話、エージェントは人間の仕事ができるか？

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト