預訓練
一句話解釋
大模型用海量公開文字學習語言和常識的階段，決定了模型的基礎能力和知識截止時間。
預訓練要用大量數據和算力，一般只有模型廠商會做。預訓練完成後，模型的知識就停在那個時間點，之後的新聞、新產品它不知道。
企業要讓模型懂自己的業務，一般不重新預訓練，而是用知識庫、RAG 或微調。
舉個例子
問一個模型「今年最新發布的手機是哪款」，它回答的是訓練截止前的資訊，這就是預訓練的知識截止。
相關術語
- 微調（Fine-tuning）Fine-tuning
- 在已經訓練好的大模型上，用企業自己的一批樣本再訓練一次，讓它更習慣某種任務或寫法。
- 大語言模型（LLM）Large Language Model
- 用海量文字訓練出來、能理解和生成文字的 AI 模型，豆包、DeepSeek、ChatGPT、Claude 背後都是大語言模型。
- RAG（檢索增強生成）Retrieval-Augmented Generation
- AI 回答前先從知識庫裏檢索出相關資料，再根據這些資料生成回答的方法。
