术语表 · 智能体与知识库

文本切块(Chunking)

ChunkingAI 术语

一句话解释

把长文档切成大小合适的小段,再存进知识库,方便检索时只取出相关的部分。

切得太大,检索出来的段落里无关内容多;切得太小,一段话被切断,意思不完整。常见做法是按标题和段落切,相邻两段保留少量重叠。

表格、条款这类结构化内容,要尽量保持完整,不要从中间切开。

举个例子

一份 50 页的产品手册按章节和小标题切成 120 段,每段带上所属章节名。

相关术语

RAG(检索增强生成)Retrieval-Augmented Generation
AI 回答前先从知识库里检索出相关资料,再根据这些资料生成回答的方法。
向量(Embedding)Embedding
把一段文字或一张图片转换成一串数字,意思相近的内容,数字也相近,用来按意思找资料。
向量数据库Vector Database
存储向量、并能快速找出意思最接近内容的数据库,是 RAG 和知识库检索的常用组件。

← 返回术语表(共 79 个术语)