上下文窗口
一句话解释
大模型一次能读进去的文字总量上限，包括提示词、资料、对话记录和它自己的回答。
上下文窗口用 Token 计量。超出上限的内容，模型就看不到了；没超出但内容太长时，模型对中间部分的注意力也会下降，容易漏看或记错细节。
所以资料多的时候，不建议把所有文件一次塞给模型，而是先检索出和问题相关的几段，再交给模型，这就是 RAG 的做法。
举个例子
把 20 份合同一次贴给 AI 对比，AI 把第 7 份的金额记成第 12 份的，常见原因就是上下文太长。
相关术语
- TokenToken
- 大模型处理文字的基本单位，模型的上下文长度和调用费用都按 Token 计算。
- RAG（检索增强生成）Retrieval-Augmented Generation
- AI 回答前先从知识库里检索出相关资料，再根据这些资料生成回答的方法。
- 长期记忆Long-term Memory
- AI 跨越多次对话保留下来的信息，例如用户的偏好、过去的决定、做过的事。
- 幻觉Hallucination
- AI 一本正经地给出不存在或错误的信息，例如编造数据、出处、法条或产品功能。
