预训练
一句话解释
大模型用海量公开文字学习语言和常识的阶段，决定了模型的基础能力和知识截止时间。
预训练要用大量数据和算力，一般只有模型厂商会做。预训练完成后，模型的知识就停在那个时间点，之后的新闻、新产品它不知道。
企业要让模型懂自己的业务，一般不重新预训练，而是用知识库、RAG 或微调。
举个例子
问一个模型「今年最新发布的手机是哪款」，它回答的是训练截止前的信息，这就是预训练的知识截止。
相关术语
- 微调（Fine-tuning）Fine-tuning
- 在已经训练好的大模型上，用企业自己的一批样本再训练一次，让它更习惯某种任务或写法。
- 大语言模型（LLM）Large Language Model
- 用海量文字训练出来、能理解和生成文字的 AI 模型，豆包、DeepSeek、ChatGPT、Claude 背后都是大语言模型。
- RAG（检索增强生成）Retrieval-Augmented Generation
- AI 回答前先从知识库里检索出相关资料，再根据这些资料生成回答的方法。
