思考の種：LLM に分布に忠実で多様な生成を促すプロンプト手法
本文の状態
日本語全文を表示中
詳細モードで約4分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Sakana AI
研究チームは、大規模言語モデル（LLM）が確率分布に従って出力する際に生じるバイアスを指摘し、公平なコイン投げやアイデア生成において偏りを防ぐための新しいプロンプト手法「String Seed of Thought」を発表した。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
（＊日本語は英文の後に）
LLM は頭の中でコインを投げることができますか？
「公平なコインを 100 回投げよ」というプロンプトを与えられたとき、表裏の比率は 50:50 から大きくずれてしまいます。LLM（大規模言語モデル）は目標となる確率を理解することはできますが、与えられた分布に忠実に従う出力を生成する問題は別問題です。
このバイアスはコイン投げに限ったことではありません。LLM に複数のストーリーのアイデアを生成させたり、解決策についてブレインストーミングさせたりすると、出力は狭い範囲に集約される傾向があります。コイン投げを歪ませる同じ確率的な偏りが、創造的な生成、推薦、多様な出力が必要な他のタスクにおける多様性を制限しています。
私たちは「String Seed of Thought（SSoT）」と呼ばれるプロンプト手法を発見しました。この方法はシンプルです：LLM に自身の出力としてランダムな文字列を生成させ、その文字列を操作して回答を導き出します。これはプロンプトへのわずかな追加だけで済み、外部の乱数発生器は不要です。
SSoT は、オープンソースおよびクローズド型の幅広い LLM において出力バイアスを大幅に低減します。推論モデル（DeepSeek-R1 など）では、実際のランダムサンプリングに近い精度を達成します。この手法は二値選択から n 元選択、任意の確率分布へと一般化されます。NoveltyBench の多様性ベンチマークにおいて、SSoT は出力品質を維持したまま、すべての 6 つのカテゴリで他のアプローチを上回りました。
本研究成果は ICLR2026 で発表されます！
技術ブログ：https://pub.sakana.ai/ssot
論文：https://arxiv.org/abs/2510.21150
Openreview: https://openreview.net/forum?id=luXtb
Japanese
LLM は頭の中でコイントスができるか？
一見簡単そうで奥深いこの問題を「プロンプトだけ」で解決した論文 "SSoT: Prompting LLMs for Distribution-Faithful and Diverse Generation" が ICLR2026 に採択されました。
LLM に「コイントスをして」と 100 回プロンプトすると、出力の表と裏の比率は 50:50 から大きく離れてしまいます。明示的に確率の指示が与えられても、LLM がそれに忠実に従って出力を生成することは難しい問題です。
このことは、コイントスに留まりません。LLM に小説のアイデアを何本か出してもらったら似たような案ばかり出てきた、という経験はないでしょうか。コイントスを歪ませるのと同じ確率的な偏りが、創作やブレインストーミングなど多様な出力が求められるタスク全般で多様性を抑制しています。
私たちはこれらの問題の解決策として、String Seed of Thought (SSoT) というプロンプトを発見しました。SSoT は、LLM に頭の中で一旦ランダムな文字列を考えさせ、その文字列を操作させて結果を出力させるという非常にシンプルな手法です。外部の乱数生成器は一切使いません。
SSoT により出力のバイアスはオープンモデルでもクローズドなモデルでも幅広い LLM で低減されます。一部の reasoning モデルでは、実際に乱数を使った場合とほぼ変わらない精度を達成しました。これは、2 択の選択肢だけでなく一般の離散分布について有効です。
さらに重要なのは、SSoT はモデル出力の多様性を高めるのに使えることです。創作的な文書作成などにおいて、SSoT をプロンプトに加えるだけで、出力される文書などの多様性が高まることがわかりました。
本手法はコンテンツ生成やアイディア出し、推論時スケーリングの新手法の開発など、LLM を実世界のシステムに組み込んでいく上で重要な基盤になると考えています。
SSoT のメカニズム、理論的な解析、インタラクティブなデモについてはブログと論文をご覧ください。
ブログ：https://pub.sakana.ai/ssot
論文：https://arxiv.org/abs/2510.21150
OpenReview: https://openreview.net/forum?id=luXtb
原文を表示
（＊日本語は英文の後に）
Can LLMs flip coins in their heads?
When prompted to “Flip a fair coin” 100 times, the heads to tails ratio drifts far from 50:50. LLMs can understand what the target probability should be, but generating outputs that faithfully follow a given distribution is a separate problem.
This bias extends beyond coin flips. When LLMs are asked to generate multiple story ideas or brainstorm solutions, the outputs tend to cluster around a narrow range. The same probabilistic skew that distorts coin flips limits diversity in creative generation, recommendations, and other tasks where varied outputs are needed.
We discovered a prompting technique named String Seed of Thought (SSoT). The method is simple: instruct the LLM to generate a random string in its own output, then manipulate that string to derive its answer. It requires only a small addition to the prompt and no external random number generator.
SSoT significantly reduces output bias across a wide range of LLMs, both open and closed. With reasoning models (such as DeepSeek-R1), it reaches accuracy close to that of actual random sampling. The method generalizes from binary choices to n-way selections and arbitrary probability distributions. On the NoveltyBench diversity benchmark, SSoT outperformed other approaches across all six categories while maintaining output quality.
This work will be presented at ICLR2026!
Technical Blog: https://pub.sakana.ai/ssot
Paper: https://arxiv.org/abs/2510.21150
Openreview: https://openreview.net/forum?id=luXtb
Japanese
LLMは頭の中でコイントスができるか？
一見簡単そうで奥深いこの問題を「プロンプトだけ」で解決した論文 “SSoT: Prompting LLMs for Distribution-Faithful and Diverse Generation” が ICLR2026 に採択されました。
LLMに「コイントスをして」と100回プロンプトすると、出力の表と裏の比率は50:50から大きく離れてしまいます。明示的に確率の指示が与えられても、LLMがそれに忠実に従って出力を生成することは難しい問題です。
このことは、コイントスに留まりません。LLMに小説のアイデアを何本か出してもらったら似たような案ばかり出てきた、という経験はないでしょうか。コイントスを歪ませるのと同じ確率的な偏りが、創作やブレインストーミングなど多様な出力が求められるタスク全般で多様性を抑制しています。
私たちはこれらの問題の解決策として、String Seed of Thought (SSoT)というプロンプトを発見しました。SSoTは、LLMに頭の中で一旦ランダムな文字列を考えさせ、その文字列を操作させて結果を出力させるという非常にシンプルな手法です。外部の乱数生成器は一切使いません。
SSoTにより出力のバイアスはオープンモデルでもクローズドなモデルでも幅広いLLMで低減されます。一部のreasoningモデルでは、実際に乱数を使った場合とほぼ変わらない精度を達成しました。これは、2択の選択肢だけでなく一般の離散分布について有効です。
さらに重要なのは、SSoTはモデル出力の多様性を高めるのに使えることです。創作的な文書作成などにおいて、SSoTをプロンプトに加えるだけで、出力される文書などの多様性が高まることがわかりました。
本手法はコンテンツ生成やアイディア出し、推論時スケーリングの新手法の開発など、LLMを実世界のシステムに組み込んでいく上で重要な基盤になると考えています。
SSoTのメカニズム、理論的な解析、インタラクティブなデモについてはブログと論文をご覧ください。
ブログ： https://pub.sakana.ai/ssot
論文： https://arxiv.org/abs/2510.21150
OpenReview： https://openreview.net/forum?id=luXtb
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み