AI 爬蟲Artificial Intelligence Crawler (AI Crawler)
AI 爬蟲是 AI 公司派出的自動程式,會讀取網站頁面,用來建立 AI 搜尋索引、訓練模型,或在使用者提問時即時取頁。
- 英文
- Artificial Intelligence Crawler (AI Crawler)
- 台灣常見別名
- AI 爬取程式、AI 搜尋爬蟲
- 簡中用語
- AI 爬虫、人工智能爬虫
- 類別
- AI搜尋與GEO
- 提出者與年份
- 沒有單一提出者,是各家 AI 公司網頁爬蟲的通稱,OpenAI 的 GPTBot 於 2023 年公布
- 官方文件
- OpenAI:Overview of OpenAI Crawlers;Anthropic:Does Anthropic crawl data from the web
AI 爬蟲是什麼?
爬蟲是自動讀取網頁的程式,Googlebot 就是最有名的一支。AI 爬蟲則是 OpenAI、Anthropic、Perplexity 這類 AI 公司派出的爬蟲,它們讀頁面的目的各不相同:有的是替 AI 搜尋建立索引,有的是收集資料訓練模型,有的是使用者在聊天裡貼網址時,臨時去讀那一頁。
它發生在 AI 服務取得網站內容的第一步。網站回應請求,爬蟲才拿得到 HTML。能被讀取只代表資料有機會被使用,會不會被引用在答案裡,還要看各家產品的處理。因為同一家公司常有多支爬蟲、用途不同,管理時要依名稱分開設定。
舉例
一家電商想讓商品出現在 ChatGPT 搜尋,又不想讓內容拿去訓練模型。它在 robots.txt 允許 OAI-SearchBot,拒絕 GPTBot,並在伺服器日誌確認兩支爬蟲的實際請求。
AI 爬蟲怎麼寫
AI 爬蟲的規則寫在網站根目錄的 robots.txt,用 User-agent 指定名稱。下面是常見爬蟲的整理,用途依各家官方文件。
| 公司 | 名稱 | 用途 | 遵守 robots.txt |
|---|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT 搜尋索引 | 是 |
| OpenAI | GPTBot | 訓練模型 | 是 |
| OpenAI | ChatGPT-User | 使用者觸發的取頁 | 可能不適用 |
| Anthropic | ClaudeBot | 訓練模型 | 是 |
| Anthropic | Claude-SearchBot | 搜尋索引 | 是 |
| Anthropic | Claude-User | 使用者觸發的取頁 | 依官方說明 |
| Perplexity | PerplexityBot | 搜尋索引,官方稱不用於訓練 | 是 |
| Perplexity | Perplexity-User | 使用者觸發的取頁 | 通常忽略 |
Google 的 Google-Extended 不是爬蟲,是只用在 robots.txt 的控制名稱,沒有獨立的 User-agent 字串。想允許搜尋、拒絕訓練,可以這樣寫:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
正確寫法
每支爬蟲各寫一組 User-agent,依用途分別允許或拒絕。
錯誤寫法
只寫 User-agent: GPTBot 就以為 ChatGPT 搜尋不會抓你,實際上搜尋用的是 OAI-SearchBot。另一種錯誤是寫 User-agent: * 加 Disallow: /,這會連 Googlebot 一起擋掉。
為什麼重要
AI 搜尋已經成為流量來源之一,網站主需要決定哪些用途願意開放。擋掉搜尋用爬蟲,可能讓網站不再出現在該 AI 搜尋的答案中,Anthropic 官方就說明封鎖 Claude-SearchBot 可能降低在搜尋結果中的能見度。擋掉訓練用爬蟲,則是表達不願意內容被拿去訓練模型。兩件事要分開決定。
怎麼檢查
- 開啟
你的網域/robots.txt,看現在有哪些 User-agent 規則,確認沒有誤用User-agent: *擋掉所有爬蟲。 - 在主機或 CDN(例如 Cloudflare)的日誌,篩選上表的爬蟲名稱,看請求量與被抓的路徑。
- 把來源 IP 與各家公布的 IP 清單比對,排除偽造的 User-agent。
- 修改 robots.txt 後,用 curl 帶上該爬蟲的 User-agent 請求幾個頁面,再回頭看日誌確認規則生效。
常見誤解
robots.txt 能保護不想公開的資料。
robots.txt 只是請爬蟲遵守的規則,沒有強制力。不能公開的內容要用登入或存取權限保護。
看到 AI 爬蟲來訪,就代表網站會被引用。
抓取只是第一步。是否出現在答案中,還要看該產品的索引與排序。
所有 AI 爬蟲都遵守同一套規則。
各家對 robots.txt 的處理不同,尤其使用者觸發的請求,OpenAI 與 Perplexity 都說明可能不受 robots.txt 約束。
常見問題
擋掉 GPTBot,ChatGPT 就不會引用我的網站嗎?
不會。GPTBot 只負責訓練用途,ChatGPT 搜尋看的是 OAI-SearchBot,兩者的 robots.txt 規則彼此獨立。想出現在 ChatGPT 搜尋,頁面要允許 OAI-SearchBot,同時可以用 GPTBot 的 Disallow 拒絕內容被拿去訓練模型。
怎麼確認來訪的 AI 爬蟲是真的?
光看 User-agent 字串不夠,因為任何人都能偽造。OpenAI 與 Anthropic 都公布爬蟲的 IP 清單,把日誌中的來源 IP 和官方清單比對,才能確認身分,兩者都符合才算數。
AI 爬蟲會不會拖慢網站?
有可能。AI 爬蟲請求量大時會增加伺服器負擔。先在日誌看請求量,再用 robots.txt 的 Crawl-delay 處理,Anthropic 說明 ClaudeBot 支援這個非標準指令,也可以改用 CDN 的速率限制。