ページを読み込み中…
ページを読み込み中…
15件の記事
MIT研究者らは国際数学オリンピック（IMO）の過去問題集を体系的に収集・整理し、AI研究者や学生向けに一般公開した。
的場氏は、コーディングエージェントにOWASP ASVSのレベルを指示する実験を実施し、生成コードのセキュリティが向上する可能性を確認した。
マイクロソフトの研究チームが、AIモデルの18の核心能力を評価し、タスク要求とモデル能力を直接比較できるADeLeを開発した。この手法は新規タスクでの性能を約8%の誤差で予測できる。
Amazonは、AIエージェントの開発者がテスト環境と本番環境の動作差を評価・改善できる「Bedrock AgentCore Evaluations」を発表した。従来のソフトウェアテストでは対応が困難なAIエージェント特有の評価課題を解決することを目的としている。
Strands Evalsは、従来のテストでは対応できないAIエージェントの本番環境導入時の課題を解決する実践的評価ガイドを提供する。AIエージェントは柔軟性と文脈認識能力が高い反面、体系的評価が困難な特性を持つため、確定的出力を前提とする従来テスト手法では不十分であることを指摘している。