LayerX、Langfuse 改善で ClickHouse 負荷低減

記事の3ポイント

1. 1

   トレース記録遅延の発生要因

   LLM 機能の増加に伴いピーク時にトレース反映が最大1日かかる状況となり、Redis メモリ使用率の上昇と滞留が確認された。

2. 2

   ボトルネック箇所の特定

   Langfuse worker と ClickHouse の CPU 使用率が頭打ちになる一方で、EFS の読み取り IO が異常に増加する不自然な状況が発生していた。

3. 3

   処理フローの改善と結果

   Langfuse worker のトレース取り込み処理を改善したことで、ストレージである ClickHouse の負荷が低減し、記録遅延の問題が解消された。