プロンプティム：プロンプト最適化のための実験的ライブラリ

[Promptim](https://github.com/hinthornw/promptimizer?ref=blog.langchain.com) は、AI システムを体系的に改善するために設計された実験的な**プロンプト** **最適化**ライブラリです。 [Promptim](https://github.com/hinthornw/promptimizer?ref=blog.langchain.com) は、特定のタスクにおけるプロンプトの改善プロセスを自動化します。初期のプロンプト、データセット、カスタム評価関数（およびオプションで人間のフィードバック）を提供すると、promptim は最適化ループを実行し、元のプロンプトを上回る性能を目指す洗練されたプロンプトを生成します。 ## 評価駆動開発からプロンプト最適化へ AI エンジニアの主要な責任の一つはプロンプトエンジニアリングです。これには、より良い結果を生み出すために手動でプロンプトを調整することが含まれます。 このアプローチに有用な方法は、**評価駆動開発（evaluation-driven development）**を通じて行うことです。これには、まず入力データセット（およびオプションで期待される出力）を作成し、その後、複数の評価指標を定義することが含まれます。プロンプトに変更を加えるたびに、データセットに対してそれを実行し、出力にスコアを付けます。このようにして、プロンプトのパフォーマンスを測定し、それが改善されていることを確認するか、少なくとも後退していないことを保証できます。[LangSmith](https://smith.langchain.com/?ref=blog.langchain.com) などのツールは、データセットのキュレーションと評価を支援します。 プロンプト最適化の考え方は、これらの明確に定義されたデータセットと評価指標を用いて、プロンプトを自動的に改善することにあります。プロンプトへの変更を自動化された方法で提案し、その新しいプロンプトをこの評価手法でスコアリングすることができます。[DSPy](https://github.com/stanfordnlp/dspy?ref=blog.langchain.com) などのツールは、このような取り組みにおいて長年にわたり先駆的な役割を果たしてきました。 ## なぜプロンプト最適化を行うのか？ プロンプト最適化にはいくつかの動機があります： **時間の節約**: 手動のプロンプトエンジニアリングは、しばしば時間がかかるプロセスになります。自動化されたプロンプト最適化により、プロンプトエンジニアリングの作業を加速し、エンジニアリング時間を節約できます。 **厳密性の導入**: プロンプトエンジニアリングは、時に科学よりも芸術に近い側面があります。これによりプロセスに一定の厳密さをもたらします。なお、一般的に評価駆動型開発（evaluation-driven development）は、この目的を達成するのに役立ちます。 **モデル間の切り替えの容易化**: 異なるモデルは、しばしば異なるプロンプティング戦略を必要とします。モデルプロバイダーを変更することは、呼び出す URL を変更するだけ那么简单ではありません。多くの場合、プロンプト自体も変更する必要があります。プロンプト最適化により、このプロセスが加速されます。なぜなら、モデル非依存（model agnostic）である評価指標の開発に多くの労力を集中し、モデル依存性が高いプロンプティングにはあまり労力を割かなくても済むからです。 ## Promptim の仕組み プロンプト最適化の最初の試みとして、このライブラリを公開できることを嬉しく思います。これはオープンソースのライブラリ（[promptim](https://github.com/hinthornw/promptimizer?ref=blog.langchain.com)）であり、LangSmith と統合されています。LangSmith は、データセット管理、プロンプト管理、結果の追跡、そして（オプションで）人間のラベリングに使用しています。 コアアルゴリズムは以下の通りです： - LangSmith のデータセット、LangSmith 内のプロンプト、ローカルで定義された評価器を指定します。オプションとして、学習用・検証用・テスト用のデータセット分割を指定することもできます。 - 初期プロンプトを検証用（または全）データセットに対して実行し、ベースラインスコアを取得します。 - 次に、学習用（または全）データセット内のすべての例に対してループ処理を行います。各例に対してプロンプトを実行し、スコアリングします。その後、結果（入力、出力、期待される出力、スコア）をメタプロンプトに渡し、現在のプロンプトへの変更提案を求めます。 - 次に、更新された新しいプロンプトを使用して、検証分割に対して再度メトリクスを計算します。 - メトリクスが改善を示す場合、更新されたプロンプトが保持されます。改善がない場合は、元のプロンプトが維持されます。 - このプロセスを N 回繰り返します。 オプションとして、人間のフィードバックを残すステップを追加することもできます。これは、優れた自動メトリクスがない場合や、自動メトリクスが提供できる範囲を超えたフィードバックに基づいてプロンプトを最適化したい場合に有用です。これには [LangSmith のアノテーションキュー](https://docs.smith.langchain.com/evaluation/how_to_guides/human_feedback/annotation_queues?ref=blog.langchain.com) を使用します。 ## プロンプト最適化の限界 プロンプト最適化には大きな期待を抱いていますが、これが万能薬（silver bullet）であるとは考えていません。このプロセスにおいて人間が関与する（human-in-the-loop）ことは依然として価値があります——最終結果に対する妥当性確認のためであっても構いません。これが、[LangSmithのPrompt Hub](https://docs.smith.langchain.com/prompt_engineering/concepts?ref=blog.langchain.com) を使用してプロンプトを保存する理由の一部です——これにより、後から容易にプロンプトを検証することができます。 ## Promptim と DSPy の比較 DSPy は最適化分野における主要なツールです。私たちのアプローチとの比較を行う価値があります。 まず、今回の初期の取り組みは単一のプロンプトを最適化することに焦点を当てています。DSPy は「複合 AI システム」全体を最適化することに重点を置いています。私たちは現時点でより扱いやすい問題であると考え、単一のプロンプトに焦点を当てることを選択しました。 第二に、私たちは人間が関与する状態を維持することに重点を置く一方、DSPy は人間の関与をより排除する方向にあります。この一例として、最適化プロセスの一部としてフィードバック用の注釈キュー（annotation queues）に接続し、人間のフィードバックを得る方法があります。もう一つの例は、後からの容易な検証のためにこれらのプロンプトを LangSmith に保存することです。最後の例は、LangSmith 内で評価結果を追跡することです。 第三に、私たちはプロンプトの書き換えみに焦点を当て、その点で非常に優れたものを目指しているのに対し、DSPy はシステムを最適化するためのより広範なソリューション（ファインチューニング、few-shot プロンプティング）を提供しています。 💡 これらの違いから、私たちは Promptim と DSPy を異なる問題に対する異なるツールと見なしています。 ## 今後の課題 基盤モデルが安定するにつれて、プロンプト最適化への関心は高まっています。私たちが期待している取り組みは以下の通りです： - ダイナミック・フューショット・プロンプティングのさらなる推進 - LangSmith UI への Promptim の統合 - Promptim への最適化手法の追加 - プロンプトだけでなく、LangGraph グラフ全体を最適化する（理想的には DSPy との統合を通じて） 今日から [Promptim を試す](https://github.com/hinthornw/promptimizer?ref=blog.langchain.com) ことができます：pip install promptim。チュートリアルについては [この YouTube 動画](https://youtu.be/18ltU1hJ7Dw?ref=blog.langchain.com) を、フィードバックは [GitHub](https://github.com/langchain-ai/langchain/discussions?ref=blog.langchain.com) または [Twitter](https://x.com/LangChainAI?ref=blog.langchain.com) でお寄せください。

プロンプティム：プロンプト最適化のための実験的ライブラリ

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト