AI 爬虫
一句话解释
AI 公司用来抓取网页内容的程序，抓到的内容可能用于训练模型或用于联网回答。
常见的有 GPTBot、OAI-SearchBot（OpenAI）、ClaudeBot（Anthropic）、PerplexityBot、Bytespider（字节跳动）等。网站可以在 robots.txt 里允许或禁止它们抓取。
想被 AI 引用的页面，要确认没有被 robots.txt 挡住，并且正文不依赖 JavaScript 才能显示。
举个例子
检查官网的 robots.txt，发现误把所有爬虫都禁止了，改成允许后，AI 才能读取官网内容。
相关术语
- llms.txtllms.txt
- 放在网站根目录、写给 AI 读的说明文件，用简短的文字和链接告诉 AI 这个网站是什么、哪些页面最重要。
- 结构化数据（Schema）Structured Data
- 用 schema.org 规范在网页里标注组织、文章、常见问题、产品等信息，让搜索引擎和 AI 不用猜就能读懂页面。
- 联网搜索Web Search / Grounding
- AI 回答前先上网搜索最新内容，再根据搜到的网页作答的功能。
