semantic chunkingは無駄？RAG精度向上の常識が覆される——論文で判明した実装の落とし穴

LLMをデータベースに接続する「RAG（Retrieval-Augmented Generation）」では、大量の文書をチャンク（小片）に分割して検索可能にする必要があります。このチャンク分割方法の選び方が、最終的な回答精度に大きく影響します。

従来の常識では、文のembedding類似度を計算して意味の変わり目で自動分割する「semantic chunking」が最も効果的とされてきました。ところがVectara Inc.の研究チームが2024年10月に発表した論文「Is Semantic Chunking Worth the Computational Cost?」では、その前提が覆されました。

論文は10のベンチマークデータセット（HotpotQA、Miraclなど）で複数の分割方法を比較。結果として、単純な固定サイズ分割（512トークン単位）が5つのデータセット中3つで最良の成果を示した一方、計算コストがかかるsemantic chunkingは安定した性能向上をもたらしませんでした。

なぜこんなことが起こるのか。semantic chunkingは意味の境界で細かく分割するため、チャンクサイズが極端に小さくなることがあります。検索は成功しても、LLMが回答を生成する際の文脈が不足し、結果的に精度が低下する構造になりやすいのです。加えてembedding生成と類似度計算に膨大な計算コストがかかるのに、見返りが少ないという問題も指摘されています。

記事では、Markdownコンテンツに対する現実的な推奨方法も提示されています。ヘッダーでセクション分割→各セクション内で512トークンのRecursive分割→10%のoverlapという3段階構成です。これにより意味の区切りを文書構造から低コストで取得しつつ、チャンクサイズの安定性も確保できるとしています。