Ollama モデルテスター（GitHub リポジトリ）

## Ollama Model Tester Ollama のローカルモデルに対して同じプロンプトを実行し、すべての応答をディスクに保存する、依存関係のない小さな CLI です。これにより、モデル同士（または同一モデルの繰り返し実行結果）を並列で比較することが可能になります。 Python 標準ライブラリのみを使用するため、pip install の必要はありません。 ## 要件 - Python 3.7 以降 - ローカルで動作している Ollama（デフォルトは http://localhost:11434） - 少なくとも 1 つのモデルがダウンロードされていること（例：ollama pull llama3.1:8b） ## クイックスタート Ollama が実行中であることを確認し、その後以下を実行してください。 python3 ollama_model_test.py 以下の質問が順次表示されます。 - 使用するモデル（インストールされているモデルから番号を選択） - プロンプト — 好きな行数を入力し、終了するには /done を独立した行に入力します - プロンプトの実行回数 - Temperature（0.0–2.0）、または Enter キーを押して Ollama のデフォルト値を使用 - 応答をターミナルにリアルタイムでストリーミングするかどうか その後、指定された回数为プロンプトを実行し、結果は ollama-runs/ ディレクトリ下に書き込まれます。 ## コマンドラインフラグ（オプション） 上記のプロンプト入力はすべて事前に指定可能であり、これによりツールをスクリプトとして利用できます。省略した項目については対話形式で質問されます。 Flag Description --model NAME 使用するローカルモデル（すでにインストールされている必要があります） --runs N 実行する生成回数 --temperature T Temperature 値（0.0–2.0） --prompt-file PATH UTF-8 テキストファイルからプロンプトを読み取る --stream / --no-stream 応答をリアルタイムでストリーミングするか、しないか 例 — 保存されたプロンプトを対話なしで 3 回実行する： python3 ollama_model_test.py \ --model llama3.1:8b \ --prompt-file prompt.txt \ --runs 3 \ --temperature 0.7 \ --no-stream ## Output 結果は、プロンプトごとに 1 つのフォルダにグループ化されます: ollama-runs/ what-are-the-main-tradeoffs-between_835562a4/ prompt.md # ハッシュとタイムスタンプを含むプロンプト metadata.json # このプロンプトに対するすべての実行（モデル、タイミング、オプション） llama3.1-8b.md # このモデルの応答と Ollama の実行メタデータ gemma3-1b.md フォルダ名は、プロンプトの最初の数単語に、フルプロンプトの短いハッシュを付加したものです。フォルダがプロンプトに基づいてキー付けされているため、**異なるモデルに対して同じプロンプトを実行すると、その出力も同じフォルダに格納されます**。これにより、モデル間の比較が容易になります。各モデルのファイルには、Ollama の実行メタデータ（トークン数、タイミングなど）とともに、すべての実行の応答が記録されます。

Ollama モデルテスター（GitHub リポジトリ）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト