LLM-as-a-Judge を人間の嗜好に整合させる研究

**主要リンク:** - 技術ドキュメント - ビデオ解説 [Evaluation](https://docs.smith.langchain.com/concepts/evaluation?ref=blog.langchain.com) は、[LLM アプリケーションを継続的に改善](https://www.youtube.com/watch?v=c0gcsprsFig&t=1140s&ref=blog.langchain.com) するプロセスです。これには、アプリケーションのパフォーマンスを測定する方法が必要です。 LLM アプリケーションは自然言語で出力を生成することが多く、ハードコードされたルールでは判断が困難です。例えば、簡潔さや参照出力に対する正確性といった属性は、[通常の単体テストとして表現するのが難しい](https://arxiv.org/pdf/2404.12272v1?ref=blog.langchain.com) 場合があります。 「[LLM-as-a-Judge](https://www.langchain.com/articles/llm-as-a-judge)」を活用して、LLM アプリケーションからの自然言語出力を評価する方法が一般的です。これは、生成された出力（およびその他の情報）を**別の** LLM に渡し、その LLM に対して出力の判定を依頼するプロセスを含みます。この手法は複数の文脈で有用であることが証明されていますが、興味深い課題も提起します：つまり、LLM-as-a-Judge が良好に機能するようにするために、**追加の** プロンプトエンジニアリングラウンドを実行する必要が生じる点です。 LangSmith は、この高まる問題に対する革新的な解決策を提示しています。LangSmith の評価器には現在、「自己改善」機能が備わっており、LLM-as-a-Judge への出力に対する人間の修正が少数ショット例として保存され、それが将来のイテレーションにおいてプロンプトにフィードバックされます。 💡 その結果、プロンプトエンジニアリングを一切行わずに、あなたの好みを正確に反映する LLM-as-a-Judge 評価器を作成しやすくなり、LangSmith でネイティブに対話する過程で時間とともに適応していくことが可能になります。 本稿では、LLM-as-a-Judge 評価器の台頭について、この解決策に至るまでの動機となる研究について、そしてその実装方法を詳しく解説します。実際に試してみたい方は、[こちらから無料で LangSmith にサインアップ](http://smith.langchain.com/?ref=blog.langchain.com) してください。 ## LLM-as-a-Judge（LLM を裁判官として） LLM の出力をプログラムで評価するのは、しばしば困難です。その大きな理由の一つは、適切な指標が不足していることです。確かに、分類や名前付きエンティティ抽出、あるいはその他の「伝統的」な機械学習タスクを行う場合であれば、標準的な機械学習の指標を使用できます。しかし、より「生成」的なタスク（多くのアプリケーションで一般的に該当します）を行っている場合は、優れた選択肢はあまりありません。 そして評価は非常に重要です！アプリケーションをリリースして運を天に任せるのではなく、実データ上でそのパフォーマンスを評価し、アプリに対して変更を加え、その変更が後退（regression）を引き起こしていないことを確認する必要があります。私たちは、ビルダーたちが**オンライン**および**オフライン**の両方の評価段階に多くの時間を費やしている様子を目にしており、LangSmith はそれに応じて構築されました。 LangSmith は、使用する指標について特定の立場をとるものではありません（ほぼすべてのチームが独自のカスタム指標を定義していることが確認されています）。[Elastic](https://blog.langchain.com/langchain-partners-with-elastic-to-launch-the-elastic-ai-assistant/) や [Rakuten](https://blog.langchain.com/customers-rakuten/) といった素晴らしいチームと協力し、彼らがどのように評価を行っているかを直接目撃してきました。その中で気づいたことのひとつが、「LLM-as-a-Judge（大規模言語モデルを裁判官として用いる手法）」と呼ばれる評価器の利用が増加しているという点です。 「LLM-as-a-Judge」評価器とは、出力に対して LLM を用いて採点を行う評価器のことであり、プログラムによる評価が困難な場合や、人間によるラベル付け以外の手段がない場合に特に有用です。私たちが確認した主なユースケースは以下の通りです。 - RAG（Retrieval-Augmented Generation：検索拡張生成）におけるハルシネーション（幻覚・虚偽生成）の検出（オンライン評価） - RAG における正答性の検出（オフライン評価） - LLM が有害または不適切な回答を生成したかどうかの検出（オンラインおよびオフライン評価） なぜこれが機能するのでしょうか？そもそも回答を生成しているのが LLM であるなら、なぜ結果を採点するためにも LLM を使用することが実際に有効なのでしょうか。 2 つの要因が働いています。第一に、評価プロセスにおいて LLM は生成時とは異なる情報にアクセスできる可能性があります。例えば、RAG の正しさを判断する際、評価用 LLM に正解（ground truth）を与えて比較させることがあります。明らかに、これはその瞬間には持っていなかった情報です。第二に、LLM にとって回答の正しさを判断することは、自ら正しい回答を生成することよりも容易です。この「タスクの単純化」が、LLM-as-a-Judge を実現可能にしています。 このプロセスはうまく機能することもありますが、複雑さもあります。評価用プロンプトに対して追加のプロンプトエンジニアリングを行う必要があり、これは時間がかかるうえ、チームが適切な評価システムを構築するのを妨げる要因にもなり得ます。LangSmith では、この評価プロセスを合理化することを目指しています。 ## 動機となった研究 私たちが解決策を実装するに至った動機となった研究は 2 つありました。 1 つ目は新しいことではありません：[言語モデルは Few-shot Learning に長けています](https://arxiv.org/abs/2005.14165?ref=blog.langchain.com)。LLM に正しく行われた事例の例を与えれば、それらは正しい行動を模倣します。この手法は当社のクライアントの LLM アプリケーションで広く採用されており、特に指示で LLM の振る舞いを説明するのが難しい場合や、出力に特定の形式が求められる場合に効果的です。評価はこの 2 つの条件の両方を満たしています！ もう一つの研究は新しいものです：バークレー校の Shreya Shankar 氏による論文『Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences』[https://arxiv.org/pdf/2404.12272?ref=blog.langchain.com] です。この論文は同じ課題に取り組んでおり、私たちが提案する解決策とは異なるアプローチを提示していますが、LLM による評価を人間のプロファイルにプログラム的に整合させるためのフィードバック収集の活用を促す上で大きな役割を果たしました。 では、これらの二つのアイデアをどう組み合わせて「自己改善型」の評価器を構築したのでしょうか？ ## 私たちの解決策：LangSmith における自己改善型評価 最近の研究と、LLM-as-a-Judge（LLM を裁判官とする）評価器の広範な採用に基づき、私たちは LangSmith 評価器のための革新的な「自己改善型」システムを開発しました。このアプローチは、LLM による評価を人間のプロファイルに整合させるプロセスを簡素化し、大規模なプロンプトエンジニアリングの必要性を排除することを目指しています。仕組みは以下の通りです。 **まず、LLM-as-a-Judge（LLM を裁判官とする）を設定します（オンラインまたはオフライン）：** ユーザーは LangSmith で [オンライン評価またはオフライン評価用の LLM-as-a-Judge 評価器を簡単に設定できます](https://docs.smith.langchain.com/how_to_guides/evaluation/create_few_shot_evaluators?ref=blog.langchain.com#create-your-evaluator)。この初期設定では最小限の構成で済み、システムは時間とともに改善されるように設計されています。設定時には、few-shot 例（少サンプル学習）をプロンプトにどのように組み込むかを指定できます。 **To start, set up LLM as a judge (online or offline):** Users can easily [set up an LLM-as-a-Judge evaluator in LangSmith for either online or offline evaluation](https://docs.smith.langchain.com/how_to_guides/evaluation/create_few_shot_evaluators?ref=blog.langchain.com#create-your-evaluator). This initial setup requires minimal configuration, as the system is designed to improve over time. When setting it up you can specify how few-shot examples should be formatted into the prompt. ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbafc4adb40d091922e3b7_use_corrections_as_few_shot-c7fdb73b9be22a6287fb4a90e78029a7--1--1.png) 翻訳全文 - フィードバックを残させる：LLM 評価者は、生成された出力に対してフィードバックを提供し、正しさ、関連性、または前段階で判事として指定されたその他の基準などの要因を評価します。 - ユーザーはアプリ内でそのフィードバックに直接修正を加えることができます：ユーザーが LLM の評価を確認する際、LangSmith インターフェース内でフィードバックを直接変更したり修正したりできます。このステップは、人間の嗜好や判断を取り込むために極めて重要です。 - これらの修正はフューショット例として保存されます：LangSmith はこれらの人間の修正を自動的にフューショット例（few-shot examples）として保存します。これにより、チームまたはアプリケーション固有の嗜好と基準を反映した、人間に整合した評価データのセットが徐々に蓄積されていきます。また、このフローの一環として、修正に対する説明も残すことができます。 - 次の評価実行時には、それらの例（および任意の説明）が保存され、生成に活用されます：後続の評価実行において、システムはこれらの保存された例を LLM-as-a-Judge のプロンプトに取り込みます。言語モデルのフューショット学習能力を活用することで、評価者は時間とともに人間の嗜好とより整合するようになります。 より技術的な手順については、[こちらの手順ガイド](https://docs.smith.langchain.com/how_to_guides/evaluation/create_few_shot_evaluators?ref=blog.langchain.com#create-your-evaluator) をご覧ください。 この自己改善サイクルにより、LLM-as-a-Judge は実世界のフィードバックに基づいて評価を適応・洗練させることができ、手動のプロンプト調整や時間のかかるプロンプトエンジニアリングが不要になります。これにより、チームは必要に応じて評価のレビューと修正に集中でき、その入力が時間の経過とともにシステムの性能向上に直接寄与することを理解できます。 ## 結論 LLM-as-a-Judge（大規模言語モデルによる審査員）評価ツールは生成 AI システムの評価において強力な手段ですが、プロンプトエンジニアリングや人間の嗜好との整合性という新たな課題も生み出しています。LangSmith の自己改善型評価器は、few-shot learning（少サンプル学習）とユーザーの修正を活用して、人間からのフィードバックを統合し、絶え間ない手動介入なしに正確で関連性の高い評価を実現するエレガントな解決策を提供します。 AI が急速に進化する中、自己改善型評価器は機械の能力と人間の期待とのギャップを埋める上で不可欠となります。LangSmith により、チームは AI アプリケーションの構築、評価、洗練をより高い自信と効率性を持って行えるようになります。まだ登録されていない方は、[こちら](https://smith.langchain.com/?ref=blog.langchain.com) から無料で LangSmith の利用を開始してください。

LLM-as-a-Judge を人間の嗜好に整合させる研究

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト