30 億パラメータモデル上でマルチエージェント経済を稼働：Thousand Token Wood の実装

[記事一覧に戻る](https://huggingface.co/blog) *30 億パラメータの取引者評議会が何ができ、何ができないかについての「Build Small Hackathon」フィールドレポート。 まずはお試しください：[Space](https://huggingface.co/spaces/build-small-hackathon/thousand-token-wood-sim) と、オープンな [エージェント・トレース](https://huggingface.co/datasets/build-small-hackathon/thousand-token-wood-traces)。 私は Build Small Hackathon のために**Thousand Token Wood**を構築しました。これは小さな経済です：5 匹の森の生き物がそれぞれ独立したエージェントとなり、**Qwen2.5-3B**上で 5 つの商品を小石と取引し、噂話をし、財を蓄積し、パニックを起こします。木々を刺激すると、バブルや暴落、そして拡大する格差が自然に現れる様子を観察できます。このモデルは Modal 上の vLLM で提供され、Gradio アプリがその森への窓となっています。 これは小規模なモデルで構築する人々のために書かれたエンジニアリングに関するフィールドレポートです。要約すると：30 億パラメータのモデルは信頼できるフォーマット生成器ですが、推論においては信頼性が低く、創発的なシステムには設計された希少性が必要であり、最も優れたデモは技術的制約とあなたがすでに深く理解している何かが交差する場所に存在します。 ## なぜ「小ささ」が制限ではなくデザインなのか 生きた経済では、1 回の実行中に多数のエージェントが何度も思考する必要があります。まさにそこが最先端モデルが不適切なツールとなる理由です：取引者評議会を毎ティック（時間単位）で実行するには遅すぎ、コストが高すぎます。リアルタイムのマルチエージェント・シミュレーションを可能にするのは小規模なモデルなのです。各生き物は、ターンごとに単一のバッチ処理された GPU 呼び出し内で意思決定を行います。 ## 最初の経済は到着した瞬間に死んでいた 素朴なバージョンは何も機能しませんでした。生産が消費を上回ったため、すべての生物は自給自足となり、取引する理由がありませんでした。市場は一度だけ清算され、その後沈黙しました。解決策は希少性を設計することでした: - 食事の多様性：生物は1回の食事で単一の食品を1単位しか食べられないため、生存するには自分が生産していない食品を購入する必要があります。 - 腐敗：保存食は放置すると腐るため、余剰分は価値があるうちに売却しなければなりません。 - 冬の燃料危機：すべての生物はターンごとに薪を燃やす必要があり、その需要は時間とともに増加しますが、薪を作るのはたった1体の生物だけです。 最後のメカニズムがドラマを生み出します。1人の供給者では増大する需要を満たせないため、樵夫が富を得て、他のすべての生物が暖かさを求めて競い合います。 ## 有効なJSONだが、判断力は弱い 希少性が導入されたことで、小規模モデルの正直な教訓が浮き彫りになりました。3B モデルは呼び出しの100% で有効な JSON を出力しましたが、その経済的判断は劣っていました。例えば、ドングリを生産する生物が、自身が余らせているドングリを購入するという注文を投稿してしまうのです。 解決策はより大きなモデルではなく、より鋭いプロンプトでした。各エージェントに対して、自分が生産したものと決して購入してはいけないものを伝え、不足している物資のリストを正確に計算し、1 つの実例を示しました。意思決定の質が向上し、生物たちはそれぞれの役割に応じて取引を行うようになりました。全体のループは、許容性の高い JSON パースおよび修復レイヤーで囲まれており、不正な応答が発生してもシミュレーションがクラッシュするのではなく、何もしない操作（no-op）として処理されます。 2 つ目の教訓はウェルビーイングから得られました。当初、私はこれを蓄積器としてモデル化しましたが、慢性的な不足があると、すべての生物がランを通じてゼロにまで落ち込み、見るにも耐えられない死の螺旋となり、エージェントの不完美な最適化を罰することになりました。そこで、これは生物が餌を与えられ暖かい状態になれば回復し、決してゼロに達しない平均回帰的な気分として再定義しました。リスクは飢餓ではなく、小石や価格、ステータスの中に存在すべきです。 ## 物語が語り始めた 私が最も満足している機能は、このプロジェクトを市場の歴史と結びつけるものです。プレイヤーは「ウッド・レジェンド（森の伝説）」を引き当てることができます。これは有名なエピソードを森の民話として再着せしたものです。チューリップ狂気は「大ドングリ狂気」に、南海泡沫事件は「空洞丸取引会社」に、1929 年の銀行取り付け騒ぎは「オーナ貯蔵庫への取り付け」に変換されます。 これらは単なる装飾テキストではありません。各伝説は実際のショックを引き起こし、エージェントが反応します。あるランで私は「オーナ貯蔵庫への取り付け」、つまりフクロウの金庫が空であるという噂を描きました。オーナは小石を調達するために蜂蜜を売却し始め、供給の洪水によって蜂蜜の価格は次のターンにかけて 10 から 3 に暴落しました。再着せされた銀行取り付け騒ぎにより、エージェントは資産を投げ売りし、市場価格を変動させました。これらすべてが事前にスクリプト化されていたわけではありません。 それが可視化されるためには、価格の変動が必要でした。エージェントたちは私が見せた基準価格を引用し返したために価格は凍結されていました。解決策は、各ラウンド後の残余の需給に応じて市場参照価格が変動するようにすることです：大量の未消化買い注文は価格を上押しし、過剰供給はそれを下押しします。現在、価格不足時には価格がトレンドを示し、均衡した取引時には落ち着きを保っています。 ## 実際に何が起こったか 干ばつと冬の噂を途中から組み込んだ代表的な 15 ラウンドの実行結果： Metric Result Valid JSON actions 100% (75 of 75 calls) Trades per turn sustained 3 to 9, never silent Honey price crashed 10 to 3 during the bank-run legend Firewood price rose 4 to 7 as winter scarcity bit Wealth gap (Gini) widened 0.14 to 0.38 Outcome the woodcutter ended richest, the hoarder broke これらの動きのすべてに関する推論は、オープンな [traces dataset](https://huggingface.co/datasets/build-small-hackathon/thousand-token-wood-traces) にあります：各行には、各生物の完全なプロンプト、生レスポンス、解析されたアクション、そして思考が記録されています。 ## 小型モデルでの構築に向けた教訓 エンジニアリングの大部分は、規模ではなく構造とプロンプトによって、小型モデルの信頼できるフォーマットと不確かな推論との間のギャップを埋めることにあります。創発的なシステムには設計された希少性が必要であり、豊かさは退屈です。そして、最も魅力的な小型モデルのデモに必要なのは、でっち上げられたドラマではありません。3 世紀にわたる市場史がそれをすでに用意しており、3B のエージェントによる評議会だけで十分にその様子を再現できました。 小さなモデル、大きな冒険。[Space](https://huggingface.co/spaces/build-small-hackathon/thousand-token-wood-sim) でお試しください。 元々は [Medium](https://medium.com/@LesterLeong/thousand-token-wood-emergent-market-drama-from-3-billion-parameter-agents-22545d5982bf) に掲載されました。

30 億パラメータモデル上でマルチエージェント経済を稼働：Thousand Token Wood の実装

背景や根拠まで確認しますか？

調べる

選ぶ

サイト