AWSでDottxt Outlinesを使用してLLMから構造化出力を生成する

AWS のDottxt Outlines を用いた LLM からの構造化出力の生成 本記事は、Dottxt の CEO かつ技術創業者である Remi Louf と共著です。 AI アプリケーションにおける構造化出力とは、事前に定義され、検証され、しばしば厳格に指定された形式に従う AI 生成応答を指します。これには、出力のスキーマや、出力内の特定のフィールドがどのようにマッピングされるべきかという方法が含まれます。構造化出力は、一貫性、検証、および下流システムとのシームレスな統合を必要とするアプリケーションにとって不可欠です。例えば、銀行の融資承認システムでは厳格なフィールド検証を伴う JSON 出力を生成する必要があり、医療システムでは患者データの形式を検証し、薬剤投与量の制約を強制する必要があります。また、EC システムでは会計システム向けに標準化された請求書の生成が必要です。 本記事では、Amazon SageMaker の AWS Marketplace を用いて構造化出力を実装するための実用的なアプローチとして、.txt の Outlines フレームワークの実装について探ります。 構造化出力：ユースケースとビジネス価値 構造化出力は、生成 AI をその場限りのテキスト生成から信頼性の高いビジネスインフラへと昇華させ、高リスクかつ統合が複雑な環境において、精密なデータ交換、自動化された意思決定、エンドツーエンドのワークフローを可能にします。スキーマと予測可能なフォーマットを強制することで、正確性、追跡可能性、相互運用性が妥協できないユースケース——財務報告や医療業務から e コマース物流、企業ワークフロー自動化まで——での活用が実現します。本節では、構造化出力がいかにして最大の価値を生み出し、エラーの削減、運用リスクの低下、測定可能な ROI（投資対効果）に直接結びつくのかを探ります。 構造化出力とは何か？ 「構造化出力」というカテゴリは、モデルが特定の制約メカニズムに従って出力を生成する方法に関する複数の要件を組み合わせたものです。以下に制約メカニズムの例を示します。 スキーマベースの制約：JSON Schema や XML Schema は、型要件、必須フィールド、プロパティ制約、ネストされた階層構造を持つオブジェクト構造を定義します。モデルはこれらの仕様に正確に一致する出力を生成し、transaction_id などのフィールドが正しく扱われることを保証するのに役立ちます。 列挙（Enumeration）ベースの制約：Enum 式は、出力を事前に定義されたカテゴリ値に制限します。分類タスクでは Enum を使用 パターンベースの制約：正規表現は、電子メールアドレス、電話番号、日付、またはカスタム識別子などの特定の形式を検証します。正規表現パターンにより、後処理での検証を行わずに、出力が必要な構造と一致することが保証されます。 文法ベースの制約：文脈自由文法（CFG）および EBNF 記法は、コード、SQL クエリ、設定ファイル、またはドメイン固有言語を生成するための構文ルールを定義します。制約付きデコーディングフレームワークが、トークン生成時にこれらのルールを強制します。 意味論的検証：構文ベースの制約を超えて、大規模言語モデル（LLM）は、出力を自然言語基準に対して検証できます。これにより、コンテンツが専門的、ファミリーフレンドリー、または建設的なものであることを保証し、ルールベースの検証では捉えきれない主観的な要件に対応します。 構造化出力から恩恵を受ける重要なコンポーネント 現代のアプリケーションでは、AI モデルは非 AI 型の処理やビジネスシステムと統合されています。これらの統合および接続点には、一貫性、型安全性、機械可読性が不可欠です。なぜなら、解析の不確実性やフォーマットからの逸脱がワークフローを破綻させる可能性があるからです。以下に、LLM とインフラストラクチャコンポーネントの間で重要な相互運用性を確認できる一般的なアーキテクチャパターンをいくつか挙げます。 API 統合とデータパイプライン：抽出、変換、ロード（ETL）プロセスおよび REST API は厳格なフォーマット準拠を必要とします。モデルの出力における誤りは構文解析エラーを引き起こし、データベースへの直接挿入やシームレスな変換ロジックを損なう可能性があります。 ツール呼び出しと関数実行：エージェント型ワークフローは、LLM モデルが正しく型付けされたパラメータで関数を呼び出す能力に依存しており、これにより各エージェントが検証済みの入力を受け取る多段階自動化が可能になります。 文書抽出およびデータキャプチャ：請求書、契約書、または医療記録の構文解析には、モデルが所望のエントリを意味的に特定し、ベンダー名、金額、日付などを抽出して事前定義されたスキーマ（特定の分類オプションなどを含む）に収めることで、真にデータ入力自動化を実現する形式で返す必要があります。 リアルタイム意思決定システム：不正検出や取引処理のように、50 ミリ秒未満の意思決定を必要とするシステムでは、出力構造における冗長性や再試行は許容されません。信頼性の高いリスクスコア、分類フラグ、および意思決定メタデータを生成することで、下流システムがデータを即座に消費できるようになります。 ビジネスアプリケーション：構造化出力が最も価値を発揮する領域 高リスクで統合依存度の高いドメイン全体において、構造化出力は生成モデルを柔軟なテキストエンジンから、予測可能性、監査可能性、およびエンドツーエンドの自動化を提供する信頼性の高いビジネスインフラへと変換します。 金融サービスおよび取引処理：金融機関において、構造化された出力は、報告、監査、規制遵守における精度と一貫性を促進します。取引データ、リスク評価、ポートフォリオ分析は、リアルタイムの照合、マネーロンダリング防止（AML）レビュー、および規制提出書類をサポートするために、事前に定義されたスキーマに準拠する必要があります。構造化された出力により、決済システム、リスクエンジン、監査ツール間のシームレスな交換が可能となり、人的監視を削減しながらも、高リスクの金融業務全体で完全な追跡可能性とデータ整合性を維持します。 医療および臨床業務：規制遵守には厳格な検証が求められます。バイタルサイン、投薬量、検査結果に対する範囲チェックは、重大なエラーを防ぐために役立ちます。医療文書からの構造化抽出により、自動コーディング、請求の正確性、HIPAA 遵守のための監査証跡作成が可能になります。 エンタープライズワークフロー自動化：レガシーシステムでは、カスタム解析ロジックを必要としない機械可読データが必要です。顧客サポートとのやり取りからの構造化された出力は、感情スコア、アクションアイテム、ルーティングメタデータを備えたケースサマリーを生成し、これらは顧客関係管理（CRM）システムに直接統合されます。 Ecommerce and logistics: Address validation, payment verification, and order attribute consistency reduce failed deliveries and fraudulent transactions. Structured outputs coordinate multi-party workflows where carriers, warehouses, and payment processors require standardized formats. Regulatory compliance and audit readiness: Industries facing strict oversight benefit from structured content management with immutable audit trails. Component-level repositories track every change with metadata (who, when, why, approver), so that auditors can verify compliance through direct system access rather than manual document review. The common thread is operational complexity, integration requirements, and risk sensitivity. Structured outputs transform AI from text generation into reliable business infrastructure where predictability, auditability, and system interoperability drive measurable ROI through reduced errors, faster processing, and seamless automation. Introducing .txt Outlines on AWS to produce structured outputs Structured output can be achieved in several ways. Most frameworks will, at the core, focus on validation to identify if the output adheres to the rules and requirements requested. If the output doesn't conform, the framework will request a new output, and keep iterating as such until the model achieves the requested output structure. Outlines は、生成時の検証と呼ばれる高度なアプローチを提供します。これは、モデルがトークンを生成している最中に検証が行われることを意味し、完了後の検証ではなく、生成プロセスの初期段階で検証を行うようにシフトするものです。Amazon Bedrock とは統合されていませんが、Outlines を理解することは、ハイブリッド実装戦略に示唆を与える最先端の構造化出力技術への洞察をもたらします。 .txt チームによって開発された Outlines は、言語モデルの出力に決定論的な構造と信頼性をもたらすために設計された Python ライブラリであり、LLM を本番環境アプリケーションで展開する際の主要な課題に対処しています。従来の自由形式の生成とは異なり、Outlines を使用することで、事後ではなく生成中に厳格な出力フォーマットと制約を強制することが可能です。このアプローチにより、精度、予測可能性、および下流システムとの統合が求められるタスクに LLM を活用することが可能になります。 Outlines の仕組み Outlines は、主に以下の 3 つのメカニズムを通じて制約を強制します: 文法コンパイル：スキーマをトークンマスクに変換し、モデルの選択をガイドする 接頭辞木（プレフィックスツリー）：ビームサーチ中に無効なパスを剪定して有効な構造を維持する サンプリング制御：生成中に有効なトークン選択のために有限オートマトンを使用する 生成中、Outlines は以下の正確なワークフローに従います: 言語モデルが入力シーケンスを処理し、トークンのロジット（logits）を生成する Outlines のロジットプロセッサが、無効なトークンの確率を 0% に設定する トークンは、定義された構造に従って許可されたトークンのセットからのみサンプリングされます このプロセスは生成が完了するまで繰り返され、出力が必要な形式に準拠していることを保証するのに役立ちます 例えば、^\d*(\.\d+)?$ というパターンの場合 パフォーマンス上の利点 生成中に構造化出力を強制することは、本番環境における信頼性とパフォーマンスに対して顕著な利点をもたらします。これにより、出力構造の有効性が高まり、パフォーマンスが大幅に向上します: 推論オーバーヘッドゼロ：構造化生成技術は、推論時に実質的な計算コストを追加しません 5 倍高速な生成：.txt Engineering の結合アプローチによると、構造化生成は標準的な生成よりも劇的に高速です 計算リソースの削減：制約によりモデルの意思決定が簡素化され、無効なパスが排除されるため、全体の処理要件が減少します 精度の向上：出力空間を絞り込むことで、ベースモデルでも構造化タスクにおいてより高い精度を達成できます ベンチマーク上の利点 Outlines ライブラリの証明された利点の一部は以下の通りです: 正規表現ベースの検証パイプラインよりも 2 倍高速 生成後の検証と比較して 98% のスキーマ準拠（76%） 再帰的な JSON スキーマなどの複雑な制約をサポート Outlines の始め方 Outlines は、既存の Python ワークフローにシームレスに統合できます: from pydantic import BaseModel # Define your data structure class Patient(BaseModel): id: int name: str diagnosis: str age: int # Load model and create structured generator model = models.transformers("microsoft/DialoGPT-medium") generator = generate.json(model, Patient) # Generate structured output prompt = "Create a patient record for John Smith, 45, with diabetes" result = generator(prompt) # Returns valid Patient instance print(result.name) # "John Smith" print(result.age) # 45 For more complex schemas: from enum import Enum class Status(str, Enum): ACTIVE = "active" INACTIVE = "inactive" PENDING = "pending" class User(BaseModel): username: str email: str status: Status created_at: datetime # Generator enforces enum values and datetime format user_generator = generate.json(model, User) Using .txt's dotjson in Amazon SageMaker You can directly deploy .txt's Amazon SageMaker real-time inference solution for generating structured output by deploying one of .txt's models such as DeepSeek-R1-Distill-Qwen-32B through AWS Marketplace. The following code assumes that you have already deployed an endpoint in your AWS account. A Jupyter Notebook that walks through deploying the endpoint end-to-end is available in the product repository. import json import boto3 # Set this based on your SageMaker endpoint endpoint_name = "dotjson-with-DeepSeek-R1-Distill-Qwen-32B" session = boto3.Session() 翻訳全文

AWSでDottxt Outlinesを使用してLLMから構造化出力を生成する

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト