アウトラインズを用いた構造化言語モデル生成

はじめに

通常、LLM（大規模言語モデル）に対して JSON 形式の整った構造化データを要求すると、プロンプトを細かく調整するだけでなく、ある程度の運も必要になります。完璧な出力を得るのは容易ではないのです。

しかし、新しいオープンソースライブラリ「Outlines」が登場したことで状況は一変しました。このライブラリは、LLM の出力生成プロセスに決定論的な確実性をもたらすもので、構造化データの生成をより信頼性の高いものに変えます。

本記事では、Outlines が可能にする具体的な機能を紹介し、Python を用いた実践例を通じてその威力を見ていきましょう。

ユースケース 1：感情分析のための多肢選択分類

**

まず具体的なユースケースに深入りする前に、読者の中には「Outlines はどのように機能し、構造化されたモデル出力の正当性をどう保証するのか」と疑問を持っている方もいるかもしれません。推論段階では、生成後に不十分なテキストを修正しようとするのではなく、「文法的に不正な」トークンを生成時にマスクアウトします。これにより、特定の出力形式の根底にあるルールを破ることは事実上不可能になります。

まず例を見てみましょう。ここではカスタマーサポートチケットの分析パイプラインを構築し、限られた承認済みリストから「正確に 1 つだけ」のオプションを選択したいとします。これは分類問題そのものであり、generate.choice() という関数が、対象となるモデルに事前定義されたリテラルやクラスの中から 1 つを選ばせることで、それを模倣する役割を果たします。

ただし、まず transformers と併せてインストールして、事前学習済み大規模言語モデル（LLM）を読み込めるようにする必要があります:

pip install outlines[transformers]

次のコードでは、outlines.from_transformers() を使用し、Hugging Face の自動クラスを介してモデルとそのトークナイザーをロードします。しかし、何より素晴らしいのは、これら両方が outlines オブジェクトにラップされている点です。このオブジェクトが後で、モデルに対して「具体的に何を取得すべきか」を指示する役割を果たします。

推論段階では、レビューの分類を求めるユーザープロンプトだけでなく、モデルが従うべき出力制約を含む Literal オブジェクトも同時に渡します:

import outlines

from transformers import AutoTokenizer, AutoModelForCausalLM

from typing import Literal

1. 標準的な Transformer ベースのモデルを使ってバックエンドをロードする

model_name = "microsoft/Phi-3-mini-4k-instruct"

outlines の from_transformers() 関数を使って、モデルをロードします

model = outlines.from_transformers(

AutoModelForCausalLM.from_pretrained(model_name),

AutoTokenizer.from_pretrained(model_name)

)

モデルに直接呼び出しをかけ、許可された文字列を型制約として渡す

sentiment = model(

"この顧客レビューの感情を分類してください：'2 週間も配送待ちをしているのに、まだ届いていません。'",

Literal["Positive", "Negative", "Neutral"]

)

print(sentiment)

出力:

Negative

ここで注意すべき点があります。定義したリテラルは Python の組み込みタイピングモジュールの一部であり outlines 自体のものではありませんが、このライブラリの標準機能ではモデルの制御が行われます。モデルとトークナイザーはオブジェクトにラップされ、標準的な Python 型を強制します。その内部では有限状態機械が構築されており、提供された選択肢のみを出力として許容するよう制限しています。

# ユースケース 2: JSON オブジェクトの生成

この例ではまず、架空のキャラクター（名前、説明、年齢）を表す JSON オブジェクトの構造を定義した Pydantic オブジェクトを作成します。その後、先ほどラップした outlines モデルを使用して、要求された JSON オブジェクトがその構造に厳密に従うように生成させます。

from pydantic import BaseModel

1. Pydantic モデルで目的の JSON 構造を定義する

class Character(BaseModel):

name: str

description: str

age: int

2. outlines でラップしたモデルを使用して、Pydantic モデルに準拠した JSON 出力を生成する

json_output = model(

"fictional character named 'Anya' を記述する JSON オブジェクトを生成してください。",

Character,

max_new_tokens=200

)

print(json_output)

出力:

{ "name": "Anya", "description": "Anya は新しい場所を探検し、新しい人々と出会うことに情熱を持つ若く冒険心あふれる女性です。彼女は好奇心に満ちた輝く緑色の瞳と長い巻き毛を持っています。Anya は常に学びたいという意欲が強く、自分の知識を他の人と共有することを愛しています。彼女は心優しく、困っている人々に手を差し伸べることを惜しみません。Anya の好きな趣味にはハイキング、読書、ギター演奏があります。彼女は自由と独立を何よりも大切にする自由な精神の持ち主です。" , "age": 25 }

# ユースケース 3: REST API 向けの純粋な JSON 生成

この 3 つ目の例も JSON 関連ですが、前回の例とは少し文脈が異なります。データベースを更新するために明確に定義された JSON ペイロードを必要とする API を構築している状況を想像してください。標準的な大規模言語モデル（LLM）にこの出力を要求すると、JSON パーサーをクラッシュさせる可能性のある、厄介な末尾の文字（例えばカンマなど）が生成されるケースが多々あります。

outlines を使用すれば、Pydantic ベースのカスタムクラスオブジェクトを用いて JSON ペイロードのスキーマを再度定義できます。

from pydantic import BaseModel

from typing import Literal

import json

class ServerHealth(BaseModel):

service_name: str

uptime_seconds: int

status: Literal["OK", "DEGRADED", "DOWN"]

1. Outlines を使えば、必ず有効な JSON 文字列が生成される

raw_json_string = model(

"メインの Auth データベースの現在のステータスを報告してください。",

ServerHealth,

max_new_tokens=50

)

print(type(raw_json_string)) # 出力結果は以下のように表示されます：

2. 整形して表示する

parsed_json = json.loads(raw_json_string)

print(json.dumps(parsed_json, indent=2))

Output:

{

"service_name": "auth_db_status",

"uptime_seconds": 1623456789,

"status": "OK"

}

結びの言葉

LLM は人間との会話で「らしく」聞こえるために、構文を崩したり事実と異なる情報を生成（ハルシネーション）したりするように訓練されています。そのため、クリーンな JSON オブジェクトのような信頼性の高い構造化データを出力させるのは、一見すると難しい課題に思えます。

Outlines は、こうした LLM の出力プロセスに決定論的な確実性をもたらす新しいオープンソースライブラリです。これにより、より高品質で信頼性の高い構造化データの生成が可能になります。この記事では、この興味深いツールを活用した、初心者にもわかりやすい 3 つのシンプルなユースケースを紹介しました。

Iván Palomares Carrascosa は、AI、機械学習、ディープラーニング、LLM の分野でリーダーシップを発揮するライター、スピーカー、そしてアドバイザーです。彼は、実社会で AI を活用する方法を他者に指導・支援しています。