文本切塊(Chunking)
一句話解釋
把長文檔切成大小合適的小段,再存進知識庫,方便檢索時只取出相關的部分。
切得太大,檢索出來的段落裏無關內容多;切得太小,一段話被切斷,意思不完整。常見做法是按標題和段落切,相鄰兩段保留少量重疊。
表格、條款這類結構化內容,要儘量保持完整,不要從中間切開。
舉個例子
一份 50 頁的產品手冊按章節和小標題切成 120 段,每段帶上所屬章節名。
相關術語
- RAG(檢索增強生成)Retrieval-Augmented Generation
- AI 回答前先從知識庫裏檢索出相關資料,再根據這些資料生成回答的方法。
- 向量(Embedding)Embedding
- 把一段文字或一張圖片轉換成一串數字,意思相近的內容,數字也相近,用來按意思找資料。
- 向量數據庫Vector Database
- 存儲向量、並能快速找出意思最接近內容的數據庫,是 RAG 和知識庫檢索的常用組件。