ページを読み込み中…
ページを読み込み中…
5件の記事
Together AI は、ユーザーが専用モデルの推論環境を構成・設定するための手順やガイドラインをブログ記事として発表した。
Microsoft は、モデルの進化やユーザー行動の変化によるエージェント品質の低下を防ぐため、生産環境のトレースから推奨事項を生成し、バッチ評価と A/B テストで検証する新機能「エージェント品質最適化」を AgentCore にプレビューとして追加した。
OpenAI は、モデル進化やユーザー行動の変化によるエージェント品質の低下を防ぐため、生産環境からの推奨生成とバッチ評価・A/B テストを自動化する「AgentCore Optimization」機能をプレビューとして公開した。
OpenAI は、生産環境のトレースから推奨事項を生成し、バッチ評価と A/B テストで検証して自信を持ってリリースできる「エージェント性能ループ」機能を含む AgentCore Optimization のプレビューを開始した。これにより、モデル進化やユーザー行動の変化による品質低下を防ぐ自動フィードバックループが実現する。
本記事は、A/Bテスト実施における一般的な誤りと成功要因を、実際のデータを用いて解説する。開発者やプロダクトマネージャーに対し、統計的有意性やバイアスの排除など、実務で有効なテスト設計のベストプラクティスを提示している。