1.基本を理解
読み方・用語解説- 読み方
- チャンク
- 英語名
- Chunk
- 提唱者・年代
- RAG時代(2020年代)の用語
💡 豆知識——“chunk=ひとくち”——長い文書を“ひとくちずつ”噛み切って、検索・埋め込み化する、という発想。
【セットで覚えたい関連用語】
R
RAG(検索拡張生成)チャンク検索→LLM生成の主流パイプライン。埋
埋め込み(embedding)チャンクをベクトル化する処理。ベ
ベクトルデータベースチャンクの埋め込みを格納・検索するDB。2.意味(定義)と例え話
一言で言うと?
RAGで文書を分割する単位。埋め込み化・検索の最小単位となる。
背景・歴史的流れ
検索のために文書を分割した単位。前後へのオーバーラップ(重なり)を設け、文脈の断片化とノイズ混入のトレードオフを調整する。
身近な例え話
長い本を“ひと口大”にちぎってポケットに詰める——検索しやすい“ひとくち”の大きさ・重なり方が肝。
AIとの関係
RAG(検索拡張生成)の最小単位。生成の“精度”を左右する。
おすすめの活用法・注目ポイント
「文書の分割単位/埋め込み・検索の最小単位/オーバーラップで調整」が鉄板。
3.直前に理解(Q&A)
7問Q1. チャンクとは?最頻出
RAGで文書を分割する単位。埋め込み化・検索の最小単位。
Q2. 何の単位?最頻出
RAGの検索・埋め込み化の最小単位。
Q3. オーバーラップは?頻出
前後のチャンクへの“重なり”。文脈の断片化を補いつつ、ノイズ混入のトレードオフを調整。
Q4. 「チャンクは、文書丸ごとを埋め込み化する単位」は正しい?ひっかけ
誤り。文書を“分割して”検索・埋め込み化する、という発想。
Q5. 大きさは?頻出
大きくしすぎるとノイズ、小さすぎると文脈不足——用途で調整。
Q6. RAGでの流れは?頻出
チャンク分割→埋め込み化→ベクトルDB格納→類似検索→LLMに渡す。
Q7. 位置づけは?親と子
RAG(検索拡張生成)⊃チャンク(分割単位)。
4. まとめ
チャンク=RAGで文書を分割する単位。埋め込み・検索の最小単位(オーバーラップで調整)。