LangSmithでマルチエージェント社会ネットワークをシミュレート：村民との連携
本文の状態
日本語全文を表示中
詳細モードで約3分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
LangChain Blog
LangSmithを用いて、現実的なマルチエージェントの社会ネットワークシミュレーションを構築する。複雑なプロンプトのデバッグ、並列エージェントの追跡、大規模なユーザー行動の予測が可能になる。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
【編集者注】この投稿は、Villagers チームの Kevin Hu 氏、Tae Hyoung Jo 氏、John Kim 氏、Tejal Patwardhan 氏との共同執筆によるものです。Villagers は最近の Anthropic ハッカソンで準優勝しました。私たちはこのプロジェクトを大変気に入りました。これは、多数のエージェントを並列実行するマルチエージェント・ソーシャルネットワークシミュレーションにおいて複雑なプロンプトエンジニアリングの成果を示しているからです。*LangSmith* が、この複雑なユースケースにおいてトレーシングの自動化、プロンプトの迅速な反復、そして効率的なデバッグをどのように支援できるかを見られたことを大変嬉しく思います。
私たちは、LangSmith を用いてシミュレートされたマルチエージェント・ソーシャルネットワークの概念実証（Proof of Concept）を構築した経験について執筆することを嬉しく思います。ソーシャルネットワーク上での言語ベースの人間相互作用をシミュレートすることは、経済学、政治学、社会学、ビジネス、政策などの幅広い分野で可能性を示しています（例：[1]、[2]）。私たちは、実際のユーザーペルソナを持つテキストベースのオンラインコミュニティ（Twitter/X）を例として挙げ、LLM（大規模言語モデル）がどのように現実的なマルチエージェント・シミュレーションを作成するために使用できるかを示します。
有用なシミュレーションを構築するには、実際のユーザーが行う行動を模倣し、できれば過去の行動履歴に基づいて行う必要があります。私たちは、ツイート、リツイート、クォートツイート、コメント、いいねの履歴に基づいて、オンライン上で実際にTwitterユーザーが相互作用する様子をシミュレートするエージェントを構築しました。各ユーザーは、過去の履歴に基づいた固有のプロンプトを持つエージェントです。その後、ブランドからの各種広告キャンペーン、候補者による政治的声明、コメディアンによる社会評論などに対するコミュニティの反応をテストしました。これは、オンラインソーシャルネットワークにおけるエンゲージメント、反応、行動変容を予測するための新しいシミュレーションプラットフォームの概念実証となりました。
私たちが直面した主な技術的課題の一つは、同時に相互作用するエージェントの数に対するデバッグとプロンプトエンジニアリングでした。LangSmithは自動トレースの提供とプロンプトの効果的な反復を可能にし、マルチエージェントネットワークの基盤構築に役立ったため、非常に興奮しました。
LangSmithを使用することで、開発時間を大幅に短縮し、プロンプトの品質に対してより自信を持てるようになりました。並列で多数のエージェントが実行される製品において、LangSmithは最も使いやすいLLMopsツールであると評価しました。
原文を表示
*Editor's Note: This post was written in collaboration with Kevin Hu, Tae Hyoung Jo, John Kim, and Tejal Patwardhan from the Villagers team. Villagers came in second at a recent Anthropic hackathon. We really LOVED this project as it shows off complex prompt engineering with their multi-agent social network simulation that runs many agents in parallel. We were really excited to see how *LangSmith* could help the team automate traces, quickly iterate on prompts, and efficiently debug for this complex use-case! *
We are excited to write about our experience building a proof-of-concept for simulated multi-agent social networks using LangSmith. Simulating language-based human interactions on social networks has shown potential across economics, politics, sociology, business, and policy applications (e.g., [1], [2]). We use the example of a text-based online community (Twitter/X) with real user personas to demonstrate how LLMs can be used to create realistic multi-agent simulations.
Building a useful simulation requires mimicking what an actual user would do, ideally based on histories of past behavior. We built agents to simulate real Twitter users interacting online based on their tweet, retweet, quote tweet, comment, and like history. Each user is an agent with their own specific prompt based on their past history. We then tested the response of the community to various ad campaigns from brands, political statements from candidates, and social commentary from comedians. This served as a proof of concept for a new simulation platform to predict engagement, responses, and behavior modification for online social networks.
One of the major technical hurdles we encountered was debugging and prompt engineering given the number of agents that would be interacting at once. We were really excited by LangSmith, which allowed us to have automatic traces and to iterate effectively on prompts, helping build the foundation of the multi-agent network.
With LangSmith, we were able to significantly speed up development time and feel more confident about the quality of our prompts. We found it to be the easiest-to-use LLMops tool for a product that has a high magnitude of agents running in parallel.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み