Mr. Chatterboxは（弱い）ビクトリア朝時代の倫理的に訓練されたモデルで、自身のコンピュータで実行可能

Trip Venturella が、[Mr. Chatterbox](https://huggingface.co/tventurella/mr_chatterbox_model) をリリースしました。これは大英図書館の著作権切れテキストのみを用いて完全に訓練された言語モデルです。彼がこれをどのように説明しているかをご紹介します。 Mr. Chatterbox は、1837 年から 1899 年の間に出版されたヴィクトリア朝期の英国文献 28,000 編以上からなるコーパスを基に、ゼロから完全に訓練された言語モデルです。このデータセットは [大英図書館](https://huggingface.co/datasets/TheBritishLibrary/blbooks) が提供したものです。このモデルには 1899 年以降の学習入力は一切含まれておらず、語彙やアイデアは十九世紀の文学のみから形成されています。 Mr. Chatterbox の訓練コーパスは書籍 28,035 冊で、フィルタリング後の推定入力トークンは約 29 億です。このモデルのパラメータ数は約 3 億 4,000 万で、GPT-2-Medium とほぼ同じ規模です。もちろん違いは、GPT-2 が歴史的データのみを基に訓練されている点にあります。 膨大な量のスクレイピングされた無許可データを使わずに有用な大規模言語モデル（LLM: Large Language Model）を訓練することがどれほど難しいかを知っているからこそ、私は数年間もこのようなモデルの登場を夢見ていました。著作権切れテキストのみで訓練されたモデルと対話するとどのようなものになるのでしょうか。 Trip のおかげで、私たちは今や自らその答えを見つけることができます！ モデル自体は、少なくとも大規模言語モデルの基準からすれば非常に小さく、ディスク上ではわずか [2.05GB](https://huggingface.co/tventurella/mr_chatterbox_model/tree/main) です。Trip の [HuggingFace Spaces デモ](https://huggingface.co/spaces/tventurella/mr_chatterbox) を使って試すことができます。 ![image](https://static.simonwillison.net/static/2026/chatterbox.jpg) 正直に言って、これはかなりひどいものです。これと話すのは大規模言語モデル（LLM）というより、むしろマルコフ連鎖（Markov chain）との会話のように感じられます。応答には心地よいビクトリア朝風の風味がありますが、質問に対して有用な回答を得るのは困難です。 [2022 年の Chinchilla ペーパー](https://arxiv.org/abs/2203.15556) では、パラメータ数の 20 倍のトレーニングトークンが必要であると示唆されています。340m モデルの場合、これは約 70 億トークンを意味し、ここで使用されている大英図書館のコーパスの倍以上になります。最小の Qwen 3.5 モデルは 600m パラメータであり、そのモデルファミリーが面白くなるのは 2b からですので、私の直感では、有用な会話相手として感じられるものにするには、トレーニングデータを 4 倍またはそれ以上必要とするでしょう。 しかし、これは楽しいプロジェクトです！ ## LLM を使用してローカルで実行する 私は、自分の [LLM](https://llm.datasette.io/) フレームワークを使用して、このモデルを自分のマシン上で実行できるかどうかを試してみることにしました。 Claude Code にほとんどの作業を行わせました。[そのトランスクリプトはこちらです](https://gisthost.github.io/?7d0f00e152dd80d617b5e501e4ff025b/index.html)。 Trip は Andrej Karpathy の [nanochat](https://github.com/karpathy/nanochat) を用いてモデルをトレーニングしたため、私はそのプロジェクトをクローンし、モデルの重み（weights）を取得して Claude に Python スクリプトを作成させてモデルを実行できるようにしました。これが動作するようになった後（[Space デモソースコード](https://huggingface.co/spaces/tventurella/mr_chatterbox/tree/main) から追加の詳細が必要となりましたが）、Claude に [LLM プラグインチュートリアル](https://llm.datasette.io/en/stable/plugins/tutorial-model-plugin.html) を読ませて残りのプラグインを作成させました。 [llm-mrchatterbox](https://github.com/simonw/llm-mrchatterbox) がその結果です。このプラグインは以下のようにインストールできます： llm install llm-mrchatterbox プロンプトを実行する初回に、Hugging Face から 2.05GB のモデルファイルが取得されます。以下のように試してみてください： llm -m mrchatterbox "Good day, sir" あるいは、以下のように継続的なチャットセッションを開始することもできます： llm chat -m mrchatterbox LLM がインストールされていない場合でも、uvx を使用してゼロからチャットセッションを始めることができます： uvx --with llm-mrchatterbox llm chat -m mrchatterbox モデルの使用が終了したら、以下でキャッシュファイルを削除できます： llm mrchatterbox delete-model Claude Code にゼロから完全な LLM モデルプラグインを作成させたのは今回が初めてでしたが、非常にうまく機能しました。今後ともこの方法を頻繁に利用するつもりです。 私は、完全にパブリックドメインのデータから有用なモデルを構築できることを引き続き願っています。Trip 氏が nanochat と 29.3 億トークンのトレーニングデータを用いてこれほどまで到達できた事実は、有望な始まりです。 Tags: [ai](https://simonwillison.net/tags/ai), [andrej-karpathy](https://simonwillison.net/tags/andrej-karpathy), [generative-ai](https://simonwillison.net/tags/generative-ai), [local-llms](https://simonwillison.net/tags/local-llms), [llms](https://simonwillison.net/tags/llms), [ai-assisted-programming](https://simonwillison.net/tags/ai-assisted-programming), [hugging-face](https://simonwillison.net/tags/hugging-face), [llm](https://simonwillison.net/tags/llm), [training-data](https://simonwillison.net/tags/training-data), [uv](https://simonwillison.net/tags/uv), [ai-ethics](https://simonwillison.net/tags/ai-ethics), [claude-code](https://simonwillison.net/tags/claude-code)

Mr. Chatterboxは（弱い）ビクトリア朝時代の倫理的に訓練されたモデルで、自身のコンピュータで実行可能

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト