評価駆動開発による大規模言語モデルの信頼性向上への試行錯誤

*編集者注：以下は、Dosu の CEOであるDevin Stein氏によるゲストブログ記事です。* *Dosu は、ソフトウェアの開発、保守、サポートを支援するエンジニアリングチームメイトです。* この時点で広く知られているように、本番環境で動作する LLM 製品の構築は困難です。信頼性はあらゆる製品が成功するために不可欠ですが、あなたの製品が一連の確率的関数によって支えられている場合、信頼性を確保することは決して単純ではありません。 [Dosu](https://dosu.dev/?ref=blog.langchain.com) では、私たちは継続的に製品を改善しています。私たちが行うすべての変更について、エンドユーザーへの影響を理解する必要があります。評価駆動型開発（Evaluation Driven Development: EDD）により、私たちは自信を持ってリリースを行うことができます。過去数ヶ月の間、LangSmith はDosu の活動を容易に監視・検索できるようにすることで、EDD のスケーリングを可能にしました。 ## Dosu とは何か？ LangChain の GitHub リポジトリで時間を過ごしたことがある方なら、すでに[Dosu](https://github.com/langchain-ai/langchain/issues/10943?ref=blog.langchain.com)にお会いになっているかもしれません。Dosu は、ソフトウェアプロジェクトの開発、保守、サポートを支援する AI チームメイトです。 Dosu は、私がオープンソースソフトウェアのメンテナとして過ごした時間から生まれました。これはやりがいのある役割ですが、 notoriously 時間がかかることで知られています。私の OSS プロジェクトが人気を集めるにつれ、私は新機能の開発よりもサポート業務に多くの時間を費やすようになってしまいました。 メンテナーにとって、この責任は頻繁に[バーンアウトを引き起こし](https://github.com/pi0/tired-maintainer?ref=blog.langchain.com)、一部の人が[イシューの破産宣言](https://twitter.com/danielcroe/status/1703127430523703432?ref=blog.langchain.com)を行うに至っています。これは、すべてのオープンなイシューとプルリクエストを単にクローズするプロセスです。OSS コミュニティもこの状況に苦しんでおり、人々はメンテナーが自分のイシューに応答するまで、数日、数週間、あるいは数ヶ月も待たされることがよくあります。 この現象はオープンソースに限ったことではありません。業界内では、開発者の時間の最大 [85%](https://www.microsoft.com/en-us/research/uploads/prod/2019/04/devtime-preprint-TSE19.pdf?ref=blog.langchain.com) が、アドホックな質問への回答、イシューのトリアージ、オーバーヘッド処理など、コーディング以外のタスクに費やされています。 Dosu はこれらのタスクを開発者の負担から取り除き、彼らが愛することに集中できるようにします。つまり、フロー状態を維持し、コードを書き、素晴らしい機能をリリースすることです。同時に、Dosu は OSS コミュニティにとってのリソースとなり、予期せぬ問題に直面したり、コードでしか答えられない新しい質問があったりする際に、コミュニティメンバーに即座にフィードバックを提供します。 ## 初期の頃 Dosu は 2023 年 6 月末にローンチされました。当時、私たちの処理量は低く、すべての応答を一つずつ確認することができました。grep と print ステートメントのみを武器に、毎日丹念にログを検索し、改善すべき領域を特定していました。 この作業は骨の折れるものでしたが、Dosu のアーキテクチャを設計・開発する上で重要な役割を果たしました。これにより、私たちのチームは人々がどのように Dosu を利用しようとしているか、どの種類のリクエストに対して卓越した性能を発揮するか、またどこで不足しているかを深く理解することができました。 何を改善すべきかがわかった後、次なる課題は「どう改善するか」でした。従来のコード更新とは異なり、LLM のロジックを変更するのは単純ではありません。小さな変更が全体のパフォーマンスにどのような影響を与えるかを知ることは困難です。多くの場合、プロンプトをわずかに調整した結果、あるドメインでは結果が向上する一方で、別のドメインでは性能が後退するという現象が見られました。 私たちは変更の影響を測定する方法が必要でした。あらゆる変更に対して、以下のことを確実に実行したかったのです： - すでに良好なパフォーマンスを発揮している領域での性能を維持すること - 苦戦している領域での性能を向上させること これらの初期の時期に、進捗をベンチマークするために評価駆動型開発（Evaluation Driven Development）へと舵を切りました。 ## 評価駆動型開発 評価駆動型開発（EDD）は、テスト駆動型開発と同様に、開発に向けた明確なゴールを提供します。評価、あるいは「evals」と呼ばれるものは、更新や新機能を理解するための基準となります。EDD は、Dosu のコアロジック、モデル、またはプロンプトに対して行うあらゆる変更の影響を理解するのに役立ちます。 EDD を用いることで、Dosu を改善するための明確に定義されたプロセスが確立されます： - 初期評価数少ない新しい挙動を作成 - 新しい挙動をユーザーに展開 - 本番環境での結果を監視し、失敗モードを特定 - 各失敗モードに対応する例をオフライン評価に追加 - 更新された評価に基づいて反復し、パフォーマンスを向上 - 再展開して繰り返し この開発ワークフローは Dosu が始まった頃はうまく機能していましたが、利用が増えるにつれて、Dosu の活動に対応することが困難になりました。 ## スケールしても品質基準を高く保つ 現在、Dosu は数千のリポジトリにインストールされ、一日中いつでもレスポンスを生成しています。私たちは異なる種類のシナリオを知的に処理するために数十のサブモジュールを構築し、モデルや分野の研究が進化するにつれて問題解決のアプローチを絶えず改善しています。 Dosu の成長は興奮すべきものでしたが、同時に課題も伴いました。Dosu の活動増加により、本番環境でのレスポンス監視と失敗モードの特定がほぼ不可能になり、これは私たちの EDD（評価駆動開発）ワークフローにおいて極めて重要な要素です。 私たちは LLM モニタリングスタックをアップグレードする時期だと判断しました。Dosu の活動を監視できるだけでなく、既存のワークフローに柔軟に組み込めるツールを探しました。いくつかの基準には以下が含まれます： - プロンプトは Git に保存すべきです — EDD の理念において、プロンプトはコードとして扱われます。プロンプトに対するあらゆる変更は、コードの変更と同じ基準で扱う必要があります。 - コードレベルでのトレーシング — Dosu は単なる LLM リクエストの連続ではありません。単一のトレーシング内における LLM リクエスト間のメタデータを追跡したかったのです。 - データのエクスポートが容易 — 既存の評価用データセットとツールリングを維持したかったので、そのための機能が必要でした。 - カスタマイズ性と拡張性 — LLM の分野は急速に進化しています。LLM アプリケーションを構築する標準的な方法は存在しません。どのメタデータを追跡するかを制御し、ニーズに合わせてツールを調整できる能力を求めていました。 私たちは [LLM モニタリングと評価](https://www.langchain.com/articles/llm-monitoring-observability) の状況を調査し、要件を満たす製品を探しました。初期パートナーの一つである LangChain チームとの通話後、LangSmith がすべての条件を満たしていることを聞き、大変喜ばしく思いました。 ## SDK を介した LangSmith の実装 私たちが LangSmith に最も興奮したのは、その洗練された UI や豊富な機能セットではなく、実はその SDK でした。LangSmith SDK は、私たちが求めていた細粒度の制御とカスタマイズ性を提供してくれました。 LangSmith を試すには、LLM 関連の関数数個に @traceable デコレータを追加するだけで十分でした。インストゥルメンテーション（計装）にはわずか数分しかかからず、これらの変更を本番環境にプッシュした直後に、トレーシングが LangSmith UI に殺到しているのを確認できました。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbb00f57c432b84a73b68b_Screenshot-2024-02-25-at-3.42.06-PM.png) @traceable デコレータの予期せぬ素晴らしい機能の一つは、関数と LLM（大規模言語モデル）呼び出しのトレースを LangSmith に送信できる点です。これにより、LangSmith UI 上で単一のトレース内に、生の関数入力、レンダリングされたプロンプトテンプレート、および LLM の出力をすべて確認できるようになります。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbb00f57c432b84a73b682_Blurred-LangSmith.png) 標準設定のままでも、LangSmith は Dosu のすべての活動に対する可視性を提供してくれました。次のステップは、LangSmith を活用して失敗モードを特定し、EDD（評価駆動開発）ワークフローに統合することです。 ## 失敗の発見 Dosu はユーザーから多様なリクエストを受信します。コードベースに関する単純な質問から、新しいライブラリバージョンへのアップグレードに伴うエラートレース、機能の状態についての問い合わせまで、その範囲は広範です。Dosu に対する入力の可能性が増えるほど、失敗モードの可能性も増大します。 失敗モード、あるいは Dosu がうまく処理できていないリクエストを特定しようとする際、以下のようなさまざまなシグナルを確認する手段があります: - 明示的フィードバック：ChatGPT が普及させた、古典的な「いいね」「よくないね」の形式によるフィードバック。 - ユーザーの感情：GitHub のイシューでユーザーが Dosu と対話する際、その反応から Dosu が役立ったかどうかを通常は把握できます。 - 内部エラー：LLM はさまざまな理由で失敗することがあります。入力または出力が大きすぎたのでしょうか？生成された応答が期待されるスキーマと一致しなかったのでしょうか？ - レスポンス時間：Dosu では品質を速度よりも優先していますが、なぜ応答が遅いのかを理解することは重要です。一部の要求には高速な応答が必要ですが、他の要求には低速でもより正確な応答が必要です。 LangSmith の高度な検索機能により、異常な挙動を簡単に特定できます。明示的なユーザーフィードバック、直近のエラー発生事例、応答時間の遅延、否定的な感情など、さまざまな基準を用いて検索を実行可能です。また、LangSmith を使用すれば、各トレースに追加のメタデータを付与して、検索機能をさらに拡張することもできます。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbb00f57c432b84a73b688_Screenshot-2024-02-18-at-2.48.58-PM.png) すでに、多くの予期せぬ障害モードを特定しています。例えば、ユーザーが数千行にわたるログや、OpenAI の埋め込みベクトルの生の浮動小数点値を共有した際に、極めて遅い応答が発生するパターンを発見しました。 チームのメンバーが最も好きな失敗事例の一つは、Dosu にプルリクエストのラベル付けを依頼した際のことでした。Dosu はプルリクエストにラベルを付ける代わりに、その夜行くことに興奮しているコンサートのことをユーザーに伝えようとしたのです。Dosu がスウィフト（Taylor Swift の熱烈なファン）なのかどうかについては、まだ結論が出ていません。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbb00f57c432b84a73b685_Screenshot-2024-02-18-at-2.56.09-PM.png) 一度失敗モード（エラーの発生パターン）を見つけると、評価駆動型開発（Evaluation Driven Development: EDD）のワークフローは以前と同じです。 - LangSmith で追加の事例を検索する - 評価用データセットにそれらを追加する - 評価結果に対して反復改善を行う - Dosu の新バージョンをリリースし、これを繰り返す ## 評価用データセット収集の自動化 Dosu における評価駆動型開発（EDD）の未来は明るいです。私たちのチームは、本番環境からのトラフィックから自動的に評価用データセットを構築できるようにするために、LangSmith をさらにカスタマイズしています。エンジニアが会話トピック、ユーザーセグメント、リクエストカテゴリなどに基づいてデータセットをキュレーションできる限りシンプルであることが望まれています。 Dosu と LangChain の協力関係には、面白いフライングホイール効果（好循環）があります。LangSmith は Dosu のパフォーマンス向上のために反復開発を迅速化します。Dosu への改善は直接的に、LangChain チームのメンテナンスおよびサポート負担の軽減につながり、彼らが LangSmith 向けの新機能の開発により多くの時間を割けるようになります。その結果、Dosu の開発スピードがさらに加速します。そしてこのプロセスは続くのです！ PS: Dosu で採用募集中です！jobs*@dosu.dev* までお問い合わせください。

評価駆動開発による大規模言語モデルの信頼性向上への試行錯誤

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト