AI 爬蟲
一句話解釋
AI 公司用來抓取網頁內容的程序，抓到的內容可能用於訓練模型或用於聯網回答。
常見的有 GPTBot、OAI-SearchBot（OpenAI）、ClaudeBot（Anthropic）、PerplexityBot、Bytespider（字節跳動）等。網站可以在 robots.txt 裏允許或禁止它們抓取。
想被 AI 引用的頁面，要確認沒有被 robots.txt 擋住，並且正文不依賴 JavaScript 才能顯示。
舉個例子
檢查官網的 robots.txt，發現誤把所有爬蟲都禁止了，改成允許後，AI 才能讀取官網內容。
相關術語
- llms.txtllms.txt
- 放在網站根目錄、寫給 AI 讀的説明文件，用簡短的文字和連結告訴 AI 這個網站是什麼、哪些頁面最重要。
- 結構化數據（Schema）Structured Data
- 用 schema.org 規範在網頁裏標註組織、文章、常見問題、產品等資訊，讓搜尋引擎和 AI 不用猜就能讀懂頁面。
- 聯網搜尋Web Search / Grounding
- AI 回答前先上網搜尋最新內容，再根據搜到的網頁作答的功能。
