上下文窗口
一句話解釋
大模型一次能讀進去的文字總量上限，包括提示詞、資料、對話記錄和它自己的回答。
上下文窗口用 Token 計量。超出上限的內容，模型就看不到了；沒超出但內容太長時，模型對中間部分的注意力也會下降，容易漏看或記錯細節。
所以資料多的時候，不建議把所有文件一次塞給模型，而是先檢索出和問題相關的幾段，再交給模型，這就是 RAG 的做法。
舉個例子
把 20 份合同一次貼給 AI 對比，AI 把第 7 份的金額記成第 12 份的，常見原因就是上下文太長。
相關術語
- TokenToken
- 大模型處理文字的基本單位，模型的上下文長度和調用費用都按 Token 計算。
- RAG（檢索增強生成）Retrieval-Augmented Generation
- AI 回答前先從知識庫裏檢索出相關資料，再根據這些資料生成回答的方法。
- 長期記憶Long-term Memory
- AI 跨越多次對話保留下來的資訊，例如用戶的偏好、過去的決定、做過的事。
- 幻覺Hallucination
- AI 一本正經地給出不存在或錯誤的資訊，例如編造數據、出處、法條或產品功能。
