実用的な制約デコーディングの入門ガイド：KDnuggets が解説

記事の3ポイント

1. 1

   実用的制約デコーディングの定義

   構造化生成やガイド付きデコーディングとも呼ばれ、トークン選択段階でモデルが指定されたスキーマや文法から外れた出力を行えないようにするエンジニアリング戦略である。

2. 2

   従来のプロンプト手法との違い

   単に「JSON を出力して」と頼むような確率的なアプローチではなく、プロンプトとテキスト生成を連続したプログラムとして扱い、特定の文字列をロックダウンする点で本質的に異なる。

3. 3

   有限状態機械による制御機構

   推論プロセス開始前に目標制約をコンパイルして有限状態機械を構築し、各ステップで許可されたトークンのリスト（ホワイトリスト）を提供する仕組みを採用している。