LumberChunker: 長編物語文書のセグメンテーション

jQuery('.post-authors').width(0.33 * jQuery('.post-authors').parent().width()); jQuery('.affiliations').width(0.33 * jQuery('.affiliations').parent().width()); jQuery('.date').width(0.33 * jQuery('.date').parent().width()); jQuery('.post-authors').empty(); jQuery('.post-authors').append('Authors '); jQuery('.post-authors').append('André V. Duarte, João Marques, Miguel Graça, Miguel Freire, Lei Li, Arlindo Oliveira'); jQuery('.affiliations').append('IST, NeuralShift AI, CMU '); jQuery('.doi').remove(); リンク: 論文 | コード | データ ![image](https://blog.ml.cmu.edu/wp-content/uploads/2026/02/crown_figure_blog-1024x598.png) LumberChunkerは、長編ストーリーをどこで分割すべきかをLLM（大規模言語モデル）に決定させ、Retrieval Augmented Generation（RAG）システムが適切な情報を検索できるよう、より自然なチャンクを作成します。 導入 長編ナラティブ文書は通常、章やセクションなどの明示的な構造を持っていますが、これらの単位は検索タスクにはしばしば広すぎます。より低いレベルでは、これらの大きなセグメント内で、目に見える構造的な区切りなしに重要な意味的変化が起こります。段落や固定トークンウィンドウなどのフォーマットの手がかりだけでテキストを分割すると、同じナラティブ単位に属する箇所が分離されたり、無関係なコンテンツが一緒にグループ化されたりすることがあります。構造と意味のこの不一致は、不完全または混在した文脈を含むチャンクを生み出し、検索品質を低下させ、下流のRAGパフォーマンスに影響を与えます。このため、セグメンテーションは、文書構造のみに依存するのではなく、意味的に独立したチャンクを作成することを目指すべきです。 では、ストーリーの流れを保ちながら、チャンキングを実用的に保つにはどうすればよいでしょうか？ 多くの場合、読者はナラティブが変化し始める場所を簡単に認識できます。例えば、テキストが別のシーンに移ったり、新しいエンティティを導入したり、目的を変えたりするときです。難しいのは、ほとんどの自動チャンキング手法がこの意味的シグナルを考慮せず、表面構造のみに依存していることです。その結果、フォーマットの観点では合理的に見えるが、基礎となるナラティブの一貫性を壊すセグメンテーションを生成する可能性があります。 これを具体的にするために、以下の短い文章を考え、最適なチャンキング境界を決定してください！ LumberChunker: セグメント2（クイズ） .quiz-section { padding: 1.5rem; border-radius: 12px; margin: 0; box-shadow: none; } .quiz-container { display: flex; flex-direction: column; gap: 0; background: white; border-radius: 12px; padding: 32px 40px; box-shadow: 0 1px 3px rgba(0, 0, 0, 0.06); border: 1px solid #eaeaea; max-width: 780px; margin: 0 auto; } .quiz-step-label { display: inline-flex; align-items: center; gap: 8px; font-size: 0.7em; font-weight: 600; text-transform: uppercase; letter-spacing: 0.08em; color: #909090; margin-bottom: 12px; } .quiz-step-label .step-number { display: inline-flex; align-items: center; justify-content: center; width: 20px; height: 20px; border-radius: 50%; background-color: #e8e8e8; color: #666; font-size: 0.75em; font-weight: 700; line-height: 1; } .quiz-divider { width: 100%; height: 1px; background: #ebebeb; margin: 20px 0; } .passage-sentence { margin: 0; padding: 3px 14px; line-height: 1.5; color: #3a3a3a; border-radius: 4px; transition: background-color 0.3s ease, border-left-color 0.3s ease; border-left: 3px solid transparent; font-size: 0.88em; box-sizing: border-box; font-family: Georgia, 'Times New Roman', serif; } .passage-sentence.chunk-1 { background-color: #fff5f5; border-left-color: #e57373; } .passage-sentence.chunk-2 { background-color: #f0f8ff; border-left-color: #64b5f6; } .options-container { display: flex; flex-direction: column; gap: 10px; margin-bottom: 0; padding: 0; } .option-card { border: 1.5px solid #e4e4e4; border-radius: 10px; padding: 14px 18px; cursor: pointer; transition: all 0.25s ease; background-color: #fafafa; } .option-card.selected { border-color: #464646; background-color: #f0f1f3; } .option-header { display: flex; align-items: center; gap: 12px; } .option-header label { flex: 1; cursor: pointer; font-size: 0.92em; color: #424242; line-height: 1.4; } .quiz-controls { padding-top: 28px; padding-bottom: 8px; text-align: center; } .quiz-btn { border-radius: 10px; background-color: #F0F3F7; border: none; color: #515151; text-transform: uppercase; font-weight: bold; font-size: 0.92em; padding: 0.75rem 1.5rem; box-shadow: 0 4px 0 #cccccc; cursor: pointer; transition: all 0.1s ease-in-out; letter-spacing: 0.02em; } .solution-phase { transition: opacity 0.4s ease-in-out; } .result-header { text-align: center; padding: 14px 16px; border-radius: 8px; margin-bottom: 14px; } .result-header.correct { background-color: #f1f8f4; border: 1.5px solid #a5d6a7; } .feedback-box { background-color: #f8f9fa; border-left: 3px solid #b0b0b0; padding: 12px 14px; font-size: 0.84em; color: #444; } .reasoning-box { background-color: #fffef0; border-left: 4px solid #ffd54f; padding: 8px; border-radius: 4px; font-size: 0.75em; } テキスト セグメンテーションクイズ この文章を意味的チャンクに分割する最良の方法を 選択してください 1 文章を読む 2 最良の セグメンテーションを選ぶ 回答を送信 ← もう一度試す 私たちの目標は、この種のセグメンテーションの決定を大規模に実用的なものにすることです。課題は、人間レベルの品質の境界検出にはナラティブ（物語）の文脈理解が必要であり、長編文書の数千の段落にわたってそれを適用するのはコストがかかることです。 ![image](https://blog.ml.cmu.edu/wp-content/uploads/2026/02/LumberChunker_pipeline-1024x406.png) LumberChunkerは、セグメンテーションを境界発見問題として扱うことでこの課題に取り組みます：連続する短い段落のシーケンスが与えられたとき、言語モデル（Language Model）に、内容が明確に変化する最も早い時点を特定するよう依頼します。この定式化により、セグメントの長さは可変でありながら、基礎となるナラティブ構造に沿ったままにすることができます。実際には、LumberChunkerは以下のステップで構成されます： 1) 文書段落抽出 書籍を段落にきれいに分割し、安定したID（ID:1, ID:2, …）を割り当てます。これにより、文書の自然な談話単位が保持され、安全な候補境界が得られます。 例：小説から抽出： ID:1 「朝日がほこりっぽい窓から差し込んだ…」 ID:2 「彼女はゆっくりとドアへ歩き、ためらった…」 ID:3 「一方、街の向こう側では、モリソン刑事が事件ファイルを確認していた…」 ID:4 「前夜の出来事は彼を困惑させていた…」 各段落には、境界を追跡するための一意のIDが与えられます。 2) LLM（大規模言語モデル）のためのIDグループ化 グループの長さがトークン予算θに達するまで段落を追加して、グループG_iを構築します。これにより、モデルがトピックやシーンが実際にいつ変化するかを判断するのに十分な文脈が提供されます。 例：θ = 550トークンの場合、例ごとに構築： G_1 = [ID:1, ID:2, ID:3, ID:4, ID:5, ID:6] このウィンドウは複数の段落にまたがることで、文脈内に少なくとも1つの意味のあるナラティブの変化が存在する可能性を高めます。 3) LLMクエリ G_i内の段落をプロンプトとしてモデルに与え、内容がそれ以前の内容と比較して明確に変化する最初の段落を返すよう依頼します。返されたIDをチャンク境界として使用し、次のグループをその段落から開始し、書籍の終わりまで繰り返します。 例：G_1 = [p1, p2, p3, p4, p5, p6]が与えられた場合、LLMは応答：p3 回答抽出： p3を境界として抽出します。これにより以下が作成されます： チャンク1: [p1, p2] 次のグループ（G_2）はp3から開始 GutenQA: 長編ナラティブ検索のためのベンチマーク 私たちのチャンキング（文書分割）アプローチを評価するために、100冊の注意深くクリーンアップされたパブリックドメイン書籍と、3,000の干し草の山の中の針（needle-in-a-haystack）タイプの質問をペアにしたベンチマークであるGutenQAを紹介します。これにより、検索品質を直接測定し、より良い検索がどのように

LumberChunker: 長編物語文書のセグメンテーション

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト