Simon Willison、モデル評価ツール「smevals」を公開

記事の3ポイント

1. 1

   評価スイートの構築と実行機能

   YAML ファイルで構成されるディレクトリ形式の評価スイートを定義し、gpt-5.5 や claude-opus-4.6 などの異なるモデル設定に対して一括実行を可能にする。

2. 2

   実行と評価の分離アーキテクチャ

   モデルへのリクエスト実行（run）と、定義されたチェック基準による結果の評価（grade）を独立した操作として扱い、柔軟なワークフローを実現する。

3. 3

   多様なレポート出力形式

   ローカル Web サーバーでインタラクティブに結果を検索できる機能に加え、静的 HTML としてビルドして任意の場所にホストする機能を備える。