[お知らせ] 本フィードの運用を終了しました

*

背景

あなたに代わってプロンプトを再構成したり構築したりすることで、大規模言語モデル（LLM）の出力を改善することを目指したライブラリが数多く存在します。これらのライブラリは、LLMの出力を以下のように改善することを謳っています：

• より安全な出力（例：guardrails）

• 決定論的な出力（例：guidance）

• 構造化された出力（例：instructor）

• 堅牢な出力（例：langchain）

• …あるいは任意の指標に対して最適化された出力（例：DSPy）。

これらのツールの一部*に共通するテーマは、ユーザーがプロンプト作成（prompting）から自らを切り離すよう促している点です。

**

DSPy: 「これは新しいパラダイムであり、大規模言語モデル（LM）とそのプロンプトは背景に消え去ります……。あなたはプログラムを再コンパイルできますが、DSPyが新しい効果的なプロンプトを作成します。」

guidance 「guidanceは、従来のプロンプト作成と比較して優れた制御と効率を提供するプログラミングパラダイムです……」

プロンプト作成を推奨していないツールでさえ、これらのツールが言語モデルに送信する最終的なプロンプトを取得するのが難しいと感じることがよくあります。これらのツールがLLMに送信するプロンプトは、それらのツールが行っていることを自然言語で記述したものであり、動作を理解する最も速い方法です。**さらに、一部のツールには内部構造を記述するための専門用語（dense terminology）があり、これらがそれらの動作をさらに不明瞭にすることがあります。

以下で説明する理由により、ほとんどの人が以下のマインドセットから恩恵を受けると思います：

このブログ記事では、ドキュメントをくまなく調べたりソースコードを読んだりすることなく、任意のツールからのプロンプト付きAPI呼び出し（API calls）をインターセプトする方法をお見せします。また、以前言及したLLM関連のツールからの例を用いて、mitmproxyの設定と操作方法も解説します。

動機：偶発的複雑さの最小化

抽象化を採用する前に、偶発的複雑さ（accidental complexity）を抱える危険性を考慮することが重要です。この危険性は、プログラミング抽象化と比較してLLM抽象化において顕著です。LLM抽象化では、自然言語でAIと対話するのではなく、コードを書く方向にユーザーを強いることが多く、これはLLMの目的に反する可能性があります：

**

プログラミング抽象化 -> タスクを機械語に変換するために使用できる人間のような言語

LLM抽象化 -> タスクを人間言語に変換するために使用できる理解不能なフレームワーク

— Hamel Husain (@HamelHusain) 2024年2月5日

これは皮肉なコメントですが、ツールを評価する際にこの点を念頭に置く価値はあります。ツールが提供する自動化には主に2つの種類があります：

• コードとLLMのインターリーブ（Interleaving）：この自動化を表現するには、タスクを実行するためにコードを実行する必要があるため、多くの場合コードを通じて行うのが最も適しています。例としては、ルーティング、関数の実行、リトライ、チェーンなどが挙げられます。

• プロンプトの再構成と構築（Re-Writing and constructing prompts）：意図を表現するには、多くの場合自然言語が最も適しています。ただし例外もあります！例えば、関数の定義やスキーマを自然言語ではなくコードで表現する方が便利な場合があります。

多くのフレームワークは両方のタイプの自動化を提供しています。ただし、2番目のタイプに過度に依存すると悪影響を及ぼす可能性があります。プロンプトを確認することで、以下を判断できます：

• このフレームワークは本当に必要か？

• 最終的なプロンプト（文字列）をそのまま拝借して、フレームワークは捨ててしまうべきか？

• これよりも優れたプロンプト（より短く、意図に合致するなど）を作成できるか？

• これが最善のアプローチか（API呼び出しの回数は適切か）？

私の経験上、プロンプトとAPI呼び出しを確認することは、情報に基づいた意思決定を行うために不可欠です。

LLM API呼び出しのインターセプト（Intercepting LLM API calls）

LLMのAPI呼び出しをインターセプトする方法は多数あります。例えば、ソースコードへのモンキーパッチング（monkey patching）やユーザー向けオプションの発見などが挙げられます。しかし、これらのアプローチはソースコードやドキュメントの品質に大きなばらつきがあるため、私の経験では時間がかかりすぎます。結局のところ、コードの動作を気にせずにAPI呼び出しを確認したいだけなのです！

フレームワークに依存せずにAPI呼び出しを確認する方法は、送信されるAPIリクエストをログに記録するプロキシを設定することです。これは、無料のオープンソースHTTPSプロキシ（HTTPS proxy）であるmitmproxyを使用すると簡単に実行できます。

mitmproxyの設定

これは、目的に合った初心者向けの方法として推奨されるmitmproxyの設定方法です：

• ウェブサイトのインストール手順に従ってください

• ターミナルでmitmwebを実行してインタラクティブUI（interactive UI）を起動します。ログに表示されるインタラクティブUIのURL（http://127.0.0.1:8081/ のような形式）に注意してください。

• 次に、すべてのトラフィックをhttp://localhost:8080でリッスンしているmitproxy経由でルーティングするように、デバイス（つまりノートパソコン）を設定する必要があります。ドキュメントによると：

システムでHTTPプロキシ（HTTP proxy）を設定する方法をウェブ検索することを推奨します。一部のオペレーティングシステムにはグローバル設定があり、一部のブラウザは独自の設定を持ち、その他のアプリケーションは環境変数を使用するなど、方法が異なります。

私の場合、「macOSでプロキシを設定する方法」でGoogle検索したところ、以下の結果が返されました：

Appleメニューを選択 > システム設定、サイドバーでネットワークをクリック、右側のネットワークサービスをクリック、詳細をクリック、その後プロキシをクリックします。

その後、UI内の以下の場所にlocalhostと8080を入力します：

• 次に、http://mitm.itにアクセスすると、HTTPSリクエストをインターセプトするために必要なmitmproxy認証局（Certificate Authority (CA)）のインストール手順が表示されます。（ここで手動で実行することもできます。）また、後ほど参照する予定なので、CAファイルの保存場所をメモしておいてください。

• https://mitmproxy.org/ などのウェブサイトにアクセスし、mtimweb UI（私の場合は http://127.0.0.1:8081/ にあります。URL はターミナルのログをご確認ください）に該当する出力が表示されることで、すべてが正常に動作することを確認できます。

• 設定が完了したら、以前ネットワークで有効にしたプロキシ（proxy）を無効にできます。私の Mac では、上記のスクリーンショットで示したプロキシボタンを切り替えることでこれを行っています。これは、不要なノイズを排除するためにプロキシの適用範囲を Python プログラムのみに限定したいからです。

**

Tip

ネットワーク関連のソフトウェアでは、環境変数（environment variables）を設定することで送信リクエストのプロキシ化を許可するのが一般的です。これが、プロキシの適用範囲を特定の Python プログラムに限定する際に使用するアプローチです。ただし、慣れてきたら他の種類のプログラムでも試して、どのような発見があるか確認することをお勧めします！**

Python 用の環境変数

requests および httpx ライブラリがトラフィックをプロキシに送信し、HTTPS 通信に対して CA ファイル（Certificate Authority file）を参照するようにするため、以下の環境変数を設定する必要があります。

**

Important

このブログ記事のコードスニペットを実行する前に、これらの環境変数が設定されていることを確認してください。

import os

CA ファイルの場所

cert_file = '/Users/hamel/Downloads/mitmproxy-ca-cert.pem'

os.environ['REQUESTS_CA_BUNDLE'] = cert_file

os.environ['SSL_CERT_FILE'] = cert_file

os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:8080'

You can do a minimal test by running the following code:

import requests

requests.post('https://httpbin.org/post',

data={'key': 'value'})

<Response [200]>

This will appear in the UI like so:

例

ここからが楽しみどころです。LLM ライブラリ（大規模言語モデルライブラリ）の例をいくつか実行し、その API 呼び出し（Application Programming Interface call）をインターセプトしてみましょう！

Guardrails

Guardrails を使用すると、構造と型を指定でき、それを用いて大規模言語モデルの出力を検証および補正できます。これは guardrails-ai/guardrails README からのハローワールド例です。

from pydantic import BaseModel, Field

from guardrails import Guard

import openai

class Pet(BaseModel):

pet_type: str = Field(description="Species of pet")

name: str = Field(description="a unique pet name")

prompt = """

What kind of pet should I get and what should I name it?

${gr.complete_json_suffix_v2}

"""

guard = Guard.from_pydantic(output_class=Pet, prompt=prompt)

validated_output, *rest = guard(

llm_api=openai.completions.create,

engine="gpt-3.5-turbo-instruct"

)

print(f"{validated_output}")

{

"pet_type": "dog",

"name": "Buddy

ここで何が起こっているのでしょうか？この構造化された出力と検証はどのように機能しているのでしょうか？mitmproxy UI を確認すると、上記のコードが 2 つの LLM API 呼び出しを生成していることがわかります。最初の呼び出しには以下のプロンプトが使用されています。

What kind of pet should I get and what should I name it?

以下に、このドキュメントから抽出する情報と、それを抽出するためのタグを示すXMLを記載します。

<output>

<string name="pet_type" description="Species of pet"/>

<string name="name" description="a unique pet name"/>

</output>

有効なJSONオブジェクトのみを返してください（他のテキストは不要です）。ここで、JSONのフィールドキーは対応するXMLのname属性とし、値は対応するXMLタグで指定された型とします。JSONはXMLの形式（リスト、オブジェクト、特定の型などへのリクエストを含む）に厳密に従う必要があります。正確かつ簡潔にしてください。

期待される動作を示す、単純な（XML、JSON）ペアの例を以下に示します：

• <string name='foo' format='two-words lower-case' /> => {'foo': 'example one'}
• <list name='bar'><string format='upper-case' /></list> => {"bar": ['STRING ONE', 'STRING TWO', etc.]}
• <object name='baz'><string name="foo" format="capitalize two-words" /><integer name="index" format="1-indexed" /></object> => {'baz': {'foo': 'Some String', 'index': 1}}

次に、以下のプロンプトを用いた別の呼び出しが続きます：**

I was given the following response, which was not parseable as JSON.

"{

\"pet_type\": \"dog\",

\"name\": \"Buddy"

Help me correct this by making it valid JSON.

以下に、このドキュメントから抽出する情報と、それを抽出するためのタグを示すXMLを記載します。

<output>

<string name="pet_type" description="Species of pet"/>

<string name="name" description="a unique pet name"/>

</output>

有効なJSONオブジェクトのみを返してください（他のテキストは不要です）。ここで、JSONのフィールドキーは対応するXMLのname属性とし、値は対応するXMLタグで指定された型とします。JSONはXMLの形式（リスト、オブジェクト、特定の型などへのリクエストを含む）に厳密に従う必要があります。正確かつ簡潔にしてください。不明な点がある場合は、nullを入力してください。

犬の鳴き声です。構造化出力（structured output）を取得するために、これほど多くの儀式が必要だとは！このライブラリがXMLスキーマ（XML schemas）を使用していることがわかりました（他のライブラリは関数呼び出し（function calling）を使います）。魔法が解けた今、より良いまたは単純なアプローチを考案できるかどうか検討する価値があります。いずれにせよ、不要な複雑さに巻き込まれることなく仕組みを理解できたのは、大きな収穫です。

Guidance

Guidanceは、プロンプト作成のための制約生成（constrained generation）とプログラミング構文を提供します。チュートリアルのチャット例を見てみましょう：

import guidance

gpt35 = guidance.models.OpenAI("gpt-3.5-turbo")

import re

from guidance import gen, select, system, user, assistant

@guidance

def plan_for_goal(lm, goal: str):

# 以下で使用するヘルパー関数（helper function）です

def parse_best(prosandcons, options):

best = re.search(r'Best=(\d+)', prosandcons)

if not best:

best = re.search(r'Best.*?(\d+)', 'Best= option is 3')

if best:

best = int(best.group(1))

else:

best = 0

return options[best]

# モデルへの一般的な指示

with system():

lm += "You are a helpful assistant."

# ユーザーからの簡単なリクエストをシミュレート

# ここでは 'lm2' を使用している点に注意してください。これらは中間ステップ（intermediate steps）であるため、現在の lm オブジェクトを上書きしたくないからです

with user():

lm2 = lm + f"""\

I want to {goal}

Can you please generate one option for how to accomplish this?

Please make the option very short, at most one line."""

# 複数のオプションを生成します。これは複数の連続する生成リクエスト（generation requests）を意味することに注意してください

n_options = 5

with assistant():

options = []

for i in range(n_options):

options.append((lm2 + gen(name='option', temperature=1.0, max_tokens=50))["option"])

# ユーザーに長所と短所（pros and cons）のコメントを依頼します

with user():

lm2 += f"""\

I want to {goal}

Can you please comment on the pros and cons of each of the following options, and then pick the best option?

"""

for i, opt in enumerate(options):

lm2 += f"Option {i}: {opt}\n"

lm2 += f"""\

Please discuss each option very briefly (one line for pros, one for cons), and end by saying Best=X, where X is the number of the best option."""

# モデルから長所と短所を取得します

with assistant():

lm2 += gen(name='prosandcons', temperature=0.0, max_tokens=600, stop="Best=") + "Best=" + gen("best", regex="[0-9]+")

# ユーザーはここで最良と選択されたものを抽出し、完全な計画を依頼します

# ここでは 'lm' に戻しています。これが最終結果として欲しいものだからです

with user():

lm += f"""\

I want to {goal}

Here is my plan: {options[int(lm2["best"])]}

Please elaborate on this plan, and tell me how to best accomplish it."""

# 計画が生成されます

with assistant():

lm += gen(name='plan', max_tokens=500)

return lm

results = gpt35 + plan_for_goal(goal="もっと本を読む")

system

あなたは役に立つアシスタントです。

user

もっと本を読みたいと思います

私の計画は：毎日30分の集中読書時間を確保することです。

この計画について詳しく説明し、どのように達成するのが最善か教えてください。

assistant

毎日30分の集中読書時間を確保することは、もっと本を読むための素晴らしい計画です。この目標を達成するためのヒントをいくつかご紹介します：

1. ルーチンを確立する：朝、昼休みの間など、あなたにとって最も適した一日の特定の時間を選択します。