Ramp Labs、タスク共有とモデル間 LoRA 適応フレームワーク「PorTAL」をオープンソース化

記事の3ポイント

1. 1

   KV キャッシュ間通信による効率化

   PorTAL は従来のトークン空間での文脈共有に代わり、ワーカーの注意パターンを利用してオーケストレーターのメモリから関連情報を抽出・破棄する KV キャッシュ間通信アルゴリズムを実装した。

2. 2

   既存手法の課題と対比

   LLM 要約は遅く情報損失があり、RAG は文書間の関係性が失われやすく、フルコンテキストの共有はコストが高く精度を損なうという既存手法の限界を指摘している。

3. 3

   31% のトークン削減と精度維持

   新手法によりエージェント間の関連メモリ共有が高速化され、結果として使用トークンを 31% 削減しながらも従来通りの精度を達成したことを発表している。