llama.cpp で Mythos コーディングモデルをローカル実行

はじめに

Hugging Face の Qwythos-9B-Claude-Mythos-5-1M は、Qwen3.5 を基盤とした 90 億パラメータの推論・コーディング専用モデルです。ローカルでのコーディングワークフロー、エージェントによる開発、そして長いコンテキストを扱うタスクに最適化されています。このモデルが注目される理由は、消費者向けのハードウェアでも動作するほど軽量でありながら、実用的なコーディング作業を十分にサポートできる能力を持っている点にあります。

本ガイドでは、llama.cpp を用いて Mythos 強化版の Qwythos モデルをローカル環境で実行し、さらに Pi に接続してローカルコーディングエージェントとして活用する方法をご紹介します。私が使用しているのは VRAM 16GB の RTX 4070 Ti Super で、これなら Q6_K_MTP 量子化版も快適に動作します。もしお使いの GPU が VRAM 8GB の場合でも問題ありませんが、品質・速度・メモリ使用量のバランスを考慮すると、Q4_K_M バリアントから始めることをお勧めします。

llama.cpp のインストール

まずは公式の llama.cpp コマンドラインインターフェース（CLI）をインストールしてください。これにより llama コマンド、特に後ほどローカルモデル実行に使用する llama serve へのアクセスが可能になります。

curl -LsSf https://llama.app/install.sh | sh

次に、インストールディレクトリをシェルのパスに追加して、ターミナルから llama コマンドが実行できるようにします。

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

インストールが正常に行われたか確認するには、以下を実行してください。

llama help

すべて正しくインストールされていれば、利用可能な llama.cpp のコマンドとオプションが表示されます。

# Hugging Face のキャッシュディレクトリを設定する

十分な空き容量がある場所に Hugging Face のキャッシュを配置してください。これは、デフォルトのホームディレクトリのディスク容量が限られているクラウド環境において特に有用です。

export HF_HOME="/workspace/huggingface"
mkdir -p "$HF_HOME"

新しいターミナルセッションでも設定を維持するには、シェルの構成ファイルに以下を追加します。

echo 'export HF_HOME="/workspace/huggingface"' >> ~/.bashrc
source ~/.bashrc

# Qwythos MTP モデルの起動

**

利用可能なすべての GPU レイヤーを使用して、Q6_K MTP GGUF モデルを実行します：

llama serve \
  -hf "empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF:MTP-Q6_K" \
  --alias "qwythos-9b-mtp" \
  --host 0.0.0.0 \
  --port 8910 \
  --n-gpu-layers all \
  --ctx-size 100000 \
  --parallel 1 \
  --batch-size 1024 \
  --ubatch-size 512 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 6 \
  --threads 12 \
  --threads-batch 24 \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --repeat-penalty 1.05 \
  --jinja \
  --perf

このコマンドを初めて実行すると、llama.cpp が Hugging Face からモデルファイルをダウンロードします。

その後、モデルをGPUメモリに読み込み、ローカルサーバーを開始します。

モデルが起動したら、ブラウザでローカルインターフェースを開きます。

http://localhost:8910

これにより、OpenAI 互換のローカル API エンドポイントも利用可能になります：

http://localhost:8910/v1

Q6_K バリアントは出力品質が高い一方で、より多くのメモリを消費します。VRAM や RAM の不足に直面した場合は、まず --ctx-size を小さくしてみてください。それでも足りない場合は、代わりに Q4_K_M バリアントを試してください。

コマンドで最も重要なフラグは以下の通りです：

RTX 4070 Ti Super でテストしたところ、推論速度は約 81.74 トークン/秒でした。このモデルはローカルのエージェントワークフロー内で使用しても、タスクを論理的に処理し、必要なツールを呼び出して最新の金価格を返すことができます。

# Pi と llama.cpp の統合方法

Pi はローカルの llama.cpp サーバーに接続し、モデルをコーディングエージェントとして利用できます。pi-llama プラグインは外部 API キーが不要で、稼働中のローカル llama.cpp サーバーと Pi を直接つなぐために設計されています。

Pi のインストール:

curl -fsSL https://pi.dev/install.sh | sh

Pi 用の llama.cpp プラグインをインストール:

pi install git:github.com/huggingface/pi-llama

小さなテストプロジェクトを作成:

mkdir new-project
cd new-project

デフォルトでは、プラグインはポート 8080 の llama.cpp を探しますが、今回のガイドではローカルサーバーがポート 8910 で動作しているため、Pi を起動する前に正しいローカル API アドレスを設定する必要があります:

export LLAMA_BASE_URL="http://127.0.0.1:8910/v1"

これで Pi を起動:

pi

Pi の内部で以下を入力:

/model

ローカルのモデルエイリアスを選択:

qwythos-9b-mtp

Pi のモデル一覧に該当モデルが表示され、選択すればローカルコーディングエージェントとしてすぐに使用できます。

ここからは、Pi 上で実際のコーディングタスクにこのローカルモデルを試す段階です。私が選んだのは、ブラウザゲームと小型の Python CLI ツールという、シンプルながら実用的な 2 つの課題です。

// シンプルなブラウザゲームの構築

まずは、「Beat the AI」という名前の小さなブラウザゲームを Pi に作成させるプロンプトから始めましょう。

「Beat the AI」というシンプルなブラウザゲームを作成してください。プレイヤーには、短いパターン認識クイズに 30 秒以内に答える時間を与えます。正解するたびにスコアが 1 点ずつ加算されます。カウントダウンタイマー、スコア表示、プログレスバー、そして終了後の結果画面を表示してください。

要件:

- HTML、CSS、バニラ JavaScript のみを使用すること

- 数字のパターン、簡単な計算、言葉の論理など、少なくとも 3 種類の質問タイプを生成すること

- ゲーム終了後にリスタートボタンを追加すること

- インターフェースは遊び心があり、洗練された印象になるように設計すること

- すべてのコードは理解しやすく、不要なファイルは作成しないこと

- 完成前にブラウザで動作確認を行うこと

私のテストでは、Pi は CSS と JavaScript を埋め込んだ単一の HTML ファイルとしてゲーム全体を作成しました。これによりプロジェクトがシンプルになり、コードの検証も容易になります。

Pi は、30 秒のカウントダウン、スコア表示、プログレスバー、問題の種類、リスタートボタンなど、自分が構築したものを要約しました。

その後、ブラウザでゲームを開いて動作を確認しました。

完成したゲームには、以下のような機能が備わっていました。

• カウントダウンタイマー
• スコア表示
• プログレスバー
• 複数の問題タイプ
• ゲーム終了後のリスタートフロー

これは、外部 API を必要とせず、ローカル環境だけでフロントエンドのタスクを完遂できるモデルの能力を示す良い例です。

// Building a CSV-to-Excel Python CLI

2 つ目のテストでは、Pi に CSV ファイルを Excel の .xlsx ファイルに変換する小さな Python CLI ツールの作成を依頼しました。

Python のコマンドラインインターフェース（CLI）を作成し、CSV ファイルを Excel の .xlsx 形式に変換するツールを作りました。この CLI は入力ファイルと出力ファイルのパスを引数として受け取り、列見出しを保持したまま変換を行います。また、存在しないファイルを指定された場合の検証も実装しており、成功時やエラー時に明確なメッセージを出力します。

完成前に、サンプルデータを含む小さなダミー CSV ファイルを作成し、CLI を実行してテストしました。Excel ファイルが正しく生成されるか確認した上で、その結果をまとめました。

Pi は csv2excel.py という名前の Python スクリプトを作成し、サンプル CSV ファイルを生成してテストコマンドを実行、その後結果の要約を行いました。

python csv2excel.py sample_data.csv output.xlsx

私の実行結果の要約によると、このスクリプトは以下の通り動作しました。

• 入力ファイルと出力ファイルのパスを正常に受け付けました。
• 列見出しを保持しました。
• サンプルデータを正しく変換しました。
• ファイルが見つからない場合、明確なエラーメッセージで処理しました。
• 出力先が指定されていない場合も適切にハンドリングしました。

さらに、生成された Excel ファイルを開いて出力内容を確認したところ、以下のことがわかりました。

サンプル出力では行と見出しが正しく保持されており、CLI が期待通りに動作していることが確認できました。

# 結びの言葉

この小型のローカルコードモデルは非常に気に入っています。動作が速く、日常のコーディングタスクには十分な精度を備えており、有用に使うために巨大な VRAM 容量を必要としません。

Pi や Claude Code、OpenCode、あるいはローカル OpenAI 互換エンドポイントや Anthropic 互換エンドポイントをサポートするあらゆるコーディング環境で使用できます。

基本的なフロントエンドアプリ、Python スクリプト、CLI ツール、そしてクイックプロトタイプにおいては、驚くほどよく機能します。外部 API に依存したり、リクエストごとに課金されたりすることなく、ローカルで有用なプロジェクトを構築可能です。