ProgramBench：ソースコードなしでソフトウェアを再現するエージェント評価ベンチマーク

本文の状態

日本語全文あり

詳細モードで約14分の本文を読めます。

同じ出来事の情報源

この情報源を基点に整理

TLDR AI

30秒でわかる

ProgramBench は、ドキュメントと実験のみを用いてソースコードなしでソフトウェア実行ファイルを再構築する課題を提供し、200 のタスクにわたる 248,000 以上の動作テストを通じて、外部支援や逆コンパイルを排除した環境でのソフトウェア設計・実装能力を評価します。

背景や根拠まで確認しますか？

元記事の内容を、読みやすい日本語で続けて確認できます。

Continue in AI NEW LAB

AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。

この記事をシェア

RoadmapBench：バージョンアップを跨ぐ長期的エージェント型ソフトウェア開発の評価

GitHub Copilot エージェント型ハッチのモデル・タスク間での性能と効率の評価

Hugging Face、LLM のハルネス最適化評価ベンチマーク「HarnessOpt-Bench」を公開

News to Guide

発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。

今日のまとめ

AIデイリーブリーフで今日の重要ニュースをまとめ読み