思考の種：LLM に分布に忠実で多様な生成を促すプロンプト手法
Sakana AI が提案する「String Seed of Thought (SSoT)」という新たなプロンプト手法は、外部乱数生成器を使わずに LLM の出力バイアスを低減し、確率分布に従った多様な生成を可能にする画期的な進展である。
キーポイント
LLM の確率的偏り問題の解明
LLM はコイントスやアイデア出しにおいて、明示的な確率指示があっても出力が特定の方向に偏る（バイアスがかかる）という根本的な課題を特定した。
SSoT (String Seed of Thought) 手法の提案
LLM にまずランダムな文字列を生成させ、それを操作して最終回答を導き出すシンプルかつ効果的なプロンプト技術を考案した。
外部依存なしでの高精度化と汎用性
外部の乱数生成器を一切使用せずとも、オープン・クローズド両モデルで 50:50 の確率や多様な分布に忠実な生成を実現し、推論モデルでも同等の精度を達成した。
創造的タスクにおける多様性の向上
NoveltyBench ベンチマークにおいて既存手法を上回り、ストーリー作成やブレインストーミングなどでの出力バリエーションを大幅に改善した。
影響分析・編集コメントを表示
影響分析
この研究は、LLM が確率分布を忠実に再現できないという長年の課題に対し、ハードウェアの変更や外部ツールなしでソフトウェア側（プロンプト）のみで解決策を示した点で極めて重要です。これにより、生成 AI の信頼性と多様性が向上し、医療診断のシミュレーションやマーケティング戦略のブレインストーミングなど、ランダム性を必要とする実システムへの組み込みがより容易になります。
編集コメント
外部の乱数生成器に依存せず、プロンプト設計のみで LLM の確率的バイアスを解消する手法は、実システムにおける生成の安定性を担保する重要なブレークスルーです。特に推論モデルとの相性が良い点は、今後の高度な AI システム構築において注目すべき技術的知見と言えます。
（＊日本語は英文の後に）
LLM は頭の中でコインを投げることができますか？
「公平なコインを 100 回投げよ」というプロンプトを与えられたとき、表裏の比率は 50:50 から大きくずれてしまいます。LLM（大規模言語モデル）は目標となる確率を理解することはできますが、与えられた分布に忠実に従う出力を生成する問題は別問題です。
このバイアスはコイン投げに限ったことではありません。LLM に複数のストーリーのアイデアを生成させたり、解決策についてブレインストーミングさせたりすると、出力は狭い範囲に集約される傾向があります。コイン投げを歪ませる同じ確率的な偏りが、創造的な生成、推薦、多様な出力が必要な他のタスクにおける多様性を制限しています。
私たちは「String Seed of Thought（SSoT）」と呼ばれるプロンプト手法を発見しました。この方法はシンプルです：LLM に自身の出力としてランダムな文字列を生成させ、その文字列を操作して回答を導き出します。これはプロンプトへのわずかな追加だけで済み、外部の乱数発生器は不要です。
SSoT は、オープンソースおよびクローズド型の幅広い LLM において出力バイアスを大幅に低減します。推論モデル（DeepSeek-R1 など）では、実際のランダムサンプリングに近い精度を達成します。この手法は二値選択から n 元選択、任意の確率分布へと一般化されます。NoveltyBench の多様性ベンチマークにおいて、SSoT は出力品質を維持したまま、すべての 6 つのカテゴリで他のアプローチを上回りました。
本研究成果は ICLR2026 で発表されます！
技術ブログ：https://pub.sakana.ai/ssot
論文：https://arxiv.org/abs/2510.21150
Openreview: https://openreview.net/forum?id=luXtb
Japanese
LLM は頭の中でコイントスができるか？
一見簡単そうで奥深いこの問題を「プロンプトだけ」で解決した論文 "SSoT: Prompting LLMs for Distribution-Faithful and Diverse Generation" が ICLR2026 に採択されました。
LLM に「コイントスをして」と 100 回プロンプトすると、出力の表と裏の比率は 50:50 から大きく離れてしまいます。明示的に確率の指示が与えられても、LLM がそれに忠実に従って出力を生成することは難しい問題です。
このことは、コイントスに留まりません。LLM に小説のアイデアを何本か出してもらったら似たような案ばかり出てきた、という経験はないでしょうか。コイントスを歪ませるのと同じ確率的な偏りが、創作やブレインストーミングなど多様な出力が求められるタスク全般で多様性を抑制しています。
私たちはこれらの問題の解決策として、String Seed of Thought (SSoT) というプロンプトを発見しました。SSoT は、LLM に頭の中で一旦ランダムな文字列を考えさせ、その文字列を操作させて結果を出力させるという非常にシンプルな手法です。外部の乱数生成器は一切使いません。
SSoT により出力のバイアスはオープンモデルでもクローズドなモデルでも幅広い LLM で低減されます。一部の reasoning モデルでは、実際に乱数を使った場合とほぼ変わらない精度を達成しました。これは、2 択の選択肢だけでなく一般の離散分布について有効です。
さらに重要なのは、SSoT はモデル出力の多様性を高めるのに使えることです。創作的な文書作成などにおいて、SSoT をプロンプトに加えるだけで、出力される文書などの多様性が高まることがわかりました。
本手法はコンテンツ生成やアイディア出し、推論時スケーリングの新手法の開発など、LLM を実世界のシステムに組み込んでいく上で重要な基盤になると考えています。
SSoT のメカニズム、理論的な解析、インタラクティブなデモについてはブログと論文をご覧ください。
ブログ：https://pub.sakana.ai/ssot
論文：https://arxiv.org/abs/2510.21150
OpenReview: https://openreview.net/forum?id=luXtb
原文を表示
（＊日本語は英文の後に）
Can LLMs flip coins in their heads?
When prompted to “Flip a fair coin” 100 times, the heads to tails ratio drifts far from 50:50. LLMs can understand what the target probability should be, but generating outputs that faithfully follow a given distribution is a separate problem.
This bias extends beyond coin flips. When LLMs are asked to generate multiple story ideas or brainstorm solutions, the outputs tend to cluster around a narrow range. The same probabilistic skew that distorts coin flips limits diversity in creative generation, recommendations, and other tasks where varied outputs are needed.
We discovered a prompting technique named String Seed of Thought (SSoT). The method is simple: instruct the LLM to generate a random string in its own output, then manipulate that string to derive its answer. It requires only a small addition to the prompt and no external random number generator.
SSoT significantly reduces output bias across a wide range of LLMs, both open and closed. With reasoning models (such as DeepSeek-R1), it reaches accuracy close to that of actual random sampling. The method generalizes from binary choices to n-way selections and arbitrary probability distributions. On the NoveltyBench diversity benchmark, SSoT outperformed other approaches across all six categories while maintaining output quality.
This work will be presented at ICLR2026!
Technical Blog: https://pub.sakana.ai/ssot
Paper: https://arxiv.org/abs/2510.21150
Openreview: https://openreview.net/forum?id=luXtb
Japanese
LLMは頭の中でコイントスができるか？
一見簡単そうで奥深いこの問題を「プロンプトだけ」で解決した論文 “SSoT: Prompting LLMs for Distribution-Faithful and Diverse Generation” が ICLR2026 に採択されました。
LLMに「コイントスをして」と100回プロンプトすると、出力の表と裏の比率は50:50から大きく離れてしまいます。明示的に確率の指示が与えられても、LLMがそれに忠実に従って出力を生成することは難しい問題です。
このことは、コイントスに留まりません。LLMに小説のアイデアを何本か出してもらったら似たような案ばかり出てきた、という経験はないでしょうか。コイントスを歪ませるのと同じ確率的な偏りが、創作やブレインストーミングなど多様な出力が求められるタスク全般で多様性を抑制しています。
私たちはこれらの問題の解決策として、String Seed of Thought (SSoT)というプロンプトを発見しました。SSoTは、LLMに頭の中で一旦ランダムな文字列を考えさせ、その文字列を操作させて結果を出力させるという非常にシンプルな手法です。外部の乱数生成器は一切使いません。
SSoTにより出力のバイアスはオープンモデルでもクローズドなモデルでも幅広いLLMで低減されます。一部のreasoningモデルでは、実際に乱数を使った場合とほぼ変わらない精度を達成しました。これは、2択の選択肢だけでなく一般の離散分布について有効です。
さらに重要なのは、SSoTはモデル出力の多様性を高めるのに使えることです。創作的な文書作成などにおいて、SSoTをプロンプトに加えるだけで、出力される文書などの多様性が高まることがわかりました。
本手法はコンテンツ生成やアイディア出し、推論時スケーリングの新手法の開発など、LLMを実世界のシステムに組み込んでいく上で重要な基盤になると考えています。
SSoTのメカニズム、理論的な解析、インタラクティブなデモについてはブログと論文をご覧ください。
ブログ： https://pub.sakana.ai/ssot
論文： https://arxiv.org/abs/2510.21150
OpenReview： https://openreview.net/forum?id=luXtb
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み