文本切块(Chunking)
一句话解释
把长文档切成大小合适的小段,再存进知识库,方便检索时只取出相关的部分。
切得太大,检索出来的段落里无关内容多;切得太小,一段话被切断,意思不完整。常见做法是按标题和段落切,相邻两段保留少量重叠。
表格、条款这类结构化内容,要尽量保持完整,不要从中间切开。
举个例子
一份 50 页的产品手册按章节和小标题切成 120 段,每段带上所属章节名。
相关术语
- RAG(检索增强生成)Retrieval-Augmented Generation
- AI 回答前先从知识库里检索出相关资料,再根据这些资料生成回答的方法。
- 向量(Embedding)Embedding
- 把一段文字或一张图片转换成一串数字,意思相近的内容,数字也相近,用来按意思找资料。
- 向量数据库Vector Database
- 存储向量、并能快速找出意思最接近内容的数据库,是 RAG 和知识库检索的常用组件。