新しいコンピューターが LangSmith を活用し、メモリ検索の想起率を 50% 向上させる方法

## New Computer について [New Computer](http://new.computer/?ref=blog.langchain.com) は、ユーザーを真に理解するように設計された最初のパーソナル AI「Dot」の開発チームです。[Dot](https://apps.apple.com/us/app/dot-living-history/id6450016041?ref=blog.langchain.com) の長期記憶システムは、発話や行動の兆候を観察することで、時間の経過とともにユーザーの嗜好を学習します。Dot の記憶システムは単なる検索（recall）を超えており、ユーザーが誰であるかというイメージを絶えず進化させることで、タイムリーかつパーソナライズされた支援を提供し、真の理解があるという感覚を生み出しています。 LangSmith を活用することで、New Computer は自身の記憶検索システムを検証・改善することができ、動的なメモリ検索（dynamic memory retrieval）の以前のベースライン実装と比較して、**検索率（recall）が 50% 向上**し、**精度（precision）が 40% 向上**しました。 ## Dot のエージェント型記憶システム概略 New Computer チームは、革新的で初の試みとなるエージェント型記憶システムを構築しました。静的なドキュメントセットに依存する標準的な RAG（Retrieval-Augmented Generation：検索拡張生成）手法とは異なり、エージェント型記憶では、後から検索されるために動的に作成または事前計算されたドキュメントが関与します。つまり、情報の構造化は記憶の作成段階で行われなければならず、これにより検索が可能になります。また、時間が経過して記憶が蓄積されても、正確かつ効率的な検索を維持する必要があります。 Raw コンテンツに加え、Dot のメモリには検索に有用な一連のオプション「メタフィールド」が存在します。これらにはステータス（例：COMPLETED または IN PROGRESS）や、開始日や期限日などの日時フィールドが含まれます。これらのフィールドは、検索時の高頻度クエリに対する追加のフィルタリング手法として利用できます。例えば、「今週完了させたいタスクは何ですか？」や「今日完了させるべき残りのタスクは何ですか？」といった問いに対応可能です。 ## LangSmith を用いたメモリ検索の改善 多様な検索手法（セマンティック、キーワード、BM25、メタフィールドフィルタのいずれか、あるいは複数）を備える New Computer にとって、ラベル付き例からなるデータセット上で迅速に反復改良を行う新たな手段が必要でした。ユーザープライバシーを保持しつつパフォーマンスを検証するため、LLM で生成されたバックストーリーを持つ合成ユーザーのコホートを作成し、合成データを生成しました。各合成ユーザーのメモリデータベースを初期化する最初の会話の後、チームは合成ユーザーからのクエリ（メッセージ）と利用可能なメモリの完全セットを LangSmith データセットに格納し始めました。 LangSmith に接続された社内ツールを用いて、New Computer チームは各クエリに関連するメモリにラベル付けを行い、[評価指標](https://www.langchain.com/articles/llm-evaluation-metrics)（precision, recall, F1 など）を定義しました。これにより、エージェント型メモリシステムの検索機能改善のための迅速な反復改良が可能となりました。 今回の一連の実験では、まずクエリごとに固定数の最も関連性の高いメモリを検索するセマンティック検索（semantic search）を用いたシンプルなベースラインシステムから始めました。その後、さまざまな種類のクエリに対するパフォーマンスを評価するために他の手法もテストしました。場合によっては類似度検索や BM25 などのキーワード手法の方が効果的でしたが、他のケースではメタフィールドによる事前フィルタリングが必要でした。 ご想像の通り、これらの複数の手法を並列で実行すると実験の組み合わせが爆発的に増加するため、多様なデータセット上で異なる手法を迅速に検証することが進歩のために不可欠です。LangSmith の使いやすい SDK と Experiments UI により、New Computer はこれらの実験を実行・評価し、結果を検証することを迅速かつ効率的に行うことができました。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbafa12c7f205b929b4c32_AD_4nXfXt4p9Ee1oHjvR4Q2roMH6hikpgaGCEP06u565l8j_GS5LtkRb0Ww21FqlTBBLl3Z8uX6wJTMapRNa2GX9welkz4tCkmUXwub10Qcz7XYR-ftY2JR2JC7R7mRHknKfM8xV_wFRYDPxK9kn-UQSYH_y61-Y.png) LangSmith で New Computer が実行したさまざまな実験における F1 スコア（F1 performance）の概要これらの実験により、New Computer はメモリシステムを大幅に改善し、動的メモリ検索（dynamic memory retrieval）の以前のベースライン実装と比較して、リコール（recall）が**50% 向上**し、精度（precision）が**40% 向上**しました。 ## LangSmith を用いた会話プロンプトの調整 Dot の応答は、動的な会話プロンプトによって生成されます。つまり、関連する記憶を含めるだけでなく、システムは正確で自然な応答を行うために、ツールの使用（例：検索結果）や文脈に即した行動指示にも依存します。 このような高変数のシステムを開発するのは困難を伴います。あるクエリに対して改善をもたらす変更が、他のクエリには悪影響を及ぼす可能性があるからです。 プロンプトの最適化のため、New Computer チームは再び合成ユーザーのコホートを用いて、多様な意図を持つユーザークエリを生成しました。その後、LangSmith の実験 [比較ビュー](https://docs.smith.langchain.com/how_to_guides/evaluation/compare_experiment_results?ref=blog.langchain.com) を用いて、プロンプト変更のグローバルな影響を容易に確認することができました。これにより、チームは視覚的に直感的に、プロンプト変更によって生じた性能低下（回帰）のある実行結果を特定できるようになりました。 さらに、出力が不正確だった失敗事例においては、LangSmith のビルトイン・プロンプトプレイグラウンドを使用することで、UI を離れることなく直接プロンプトを調整することが可能でした。これにより、会話プロンプトの評価と調整におけるチームの反復速度が大幅に向上しました。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbafa12c7f205b929b4c36_AD_4nXdRRfAlzHTDAjaAViwNBm4gA9pgqoJjxfW7YqxEKDPWdlQ2zXTkRRDZWO_haYCk0rV_6zzRXUsgPpZGODihWwfMhOTK58IOUtfUYpiLNNW_02jkkafWniY1OgUTFf8zgp3JymmvOwedgi5WwE5W4eNNtE19.png) ## New Computer の今後の展望 New Computer は人間と AI の関係性を深めることに注力しており、チームはユーザーに真に理解され、受け入れられていると感じてもらうための方法を常に模索しています。これには、Dot がユーザーの会話やトーンの好みに適応できるようにすることや、個別のユーザーごとに完全にカスタマイズされたものとして、ユーザーに対して tailored messages（カスタムメッセージ）を積極的に送り出すことで実現することが含まれます。 最近のローンチにより、新しいユーザー層が流入しました。そのうち 45% 以上は無料メッセージ制限に達した後、アプリの有料プランへ転換しています。これらのユーザーは、Dot が時間とともに自分たちと共に成長し、進化していくことを期待しています。New Computer と LangChain チームとのパートナーシップおよび LangSmith の活用は、チームが新しい AI マテリアルを活用して、人間ユーザーとの関係性の深化に伴う複雑さをシミュレートする方法において、引き続き決定的な役割を果たします。

新しいコンピューターが LangSmith を活用し、メモリ検索の想起率を 50% 向上させる方法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト