跳到主要內容

AI 爬蟲Artificial Intelligence Crawler (AI Crawler)

AI 爬蟲是 AI 公司派出的自動程式,會讀取網站頁面,用來建立 AI 搜尋索引、訓練模型,或在使用者提問時即時取頁。

英文
Artificial Intelligence Crawler (AI Crawler)
台灣常見別名
AI 爬取程式、AI 搜尋爬蟲
簡中用語
AI 爬虫、人工智能爬虫
類別
AI搜尋與GEO
提出者與年份
沒有單一提出者,是各家 AI 公司網頁爬蟲的通稱,OpenAI 的 GPTBot 於 2023 年公布
官方文件
OpenAI:Overview of OpenAI Crawlers;Anthropic:Does Anthropic crawl data from the web

AI 爬蟲是什麼?

爬蟲是自動讀取網頁的程式,Googlebot 就是最有名的一支。AI 爬蟲則是 OpenAI、Anthropic、Perplexity 這類 AI 公司派出的爬蟲,它們讀頁面的目的各不相同:有的是替 AI 搜尋建立索引,有的是收集資料訓練模型,有的是使用者在聊天裡貼網址時,臨時去讀那一頁。

它發生在 AI 服務取得網站內容的第一步。網站回應請求,爬蟲才拿得到 HTML。能被讀取只代表資料有機會被使用,會不會被引用在答案裡,還要看各家產品的處理。因為同一家公司常有多支爬蟲、用途不同,管理時要依名稱分開設定。

舉例

一家電商想讓商品出現在 ChatGPT 搜尋,又不想讓內容拿去訓練模型。它在 robots.txt 允許 OAI-SearchBot,拒絕 GPTBot,並在伺服器日誌確認兩支爬蟲的實際請求。

AI 爬蟲怎麼寫

AI 爬蟲的規則寫在網站根目錄的 robots.txt,用 User-agent 指定名稱。下面是常見爬蟲的整理,用途依各家官方文件。

公司名稱用途遵守 robots.txt
OpenAIOAI-SearchBotChatGPT 搜尋索引是
OpenAIGPTBot訓練模型是
OpenAIChatGPT-User使用者觸發的取頁可能不適用
AnthropicClaudeBot訓練模型是
AnthropicClaude-SearchBot搜尋索引是
AnthropicClaude-User使用者觸發的取頁依官方說明
PerplexityPerplexityBot搜尋索引,官方稱不用於訓練是
PerplexityPerplexity-User使用者觸發的取頁通常忽略

Google 的 Google-Extended 不是爬蟲,是只用在 robots.txt 的控制名稱,沒有獨立的 User-agent 字串。想允許搜尋、拒絕訓練,可以這樣寫:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

正確寫法

每支爬蟲各寫一組 User-agent,依用途分別允許或拒絕。

錯誤寫法

只寫 User-agent: GPTBot 就以為 ChatGPT 搜尋不會抓你,實際上搜尋用的是 OAI-SearchBot。另一種錯誤是寫 User-agent: * 加 Disallow: /,這會連 Googlebot 一起擋掉。

為什麼重要

AI 搜尋已經成為流量來源之一,網站主需要決定哪些用途願意開放。擋掉搜尋用爬蟲,可能讓網站不再出現在該 AI 搜尋的答案中,Anthropic 官方就說明封鎖 Claude-SearchBot 可能降低在搜尋結果中的能見度。擋掉訓練用爬蟲,則是表達不願意內容被拿去訓練模型。兩件事要分開決定。

怎麼檢查

  1. 開啟 你的網域/robots.txt,看現在有哪些 User-agent 規則,確認沒有誤用 User-agent: * 擋掉所有爬蟲。
  2. 在主機或 CDN(例如 Cloudflare)的日誌,篩選上表的爬蟲名稱,看請求量與被抓的路徑。
  3. 把來源 IP 與各家公布的 IP 清單比對,排除偽造的 User-agent。
  4. 修改 robots.txt 後,用 curl 帶上該爬蟲的 User-agent 請求幾個頁面,再回頭看日誌確認規則生效。

常見誤解

  • robots.txt 能保護不想公開的資料。

    robots.txt 只是請爬蟲遵守的規則,沒有強制力。不能公開的內容要用登入或存取權限保護。

  • 看到 AI 爬蟲來訪,就代表網站會被引用。

    抓取只是第一步。是否出現在答案中,還要看該產品的索引與排序。

  • 所有 AI 爬蟲都遵守同一套規則。

    各家對 robots.txt 的處理不同,尤其使用者觸發的請求,OpenAI 與 Perplexity 都說明可能不受 robots.txt 約束。

常見問題

擋掉 GPTBot,ChatGPT 就不會引用我的網站嗎?

不會。GPTBot 只負責訓練用途,ChatGPT 搜尋看的是 OAI-SearchBot,兩者的 robots.txt 規則彼此獨立。想出現在 ChatGPT 搜尋,頁面要允許 OAI-SearchBot,同時可以用 GPTBot 的 Disallow 拒絕內容被拿去訓練模型。

怎麼確認來訪的 AI 爬蟲是真的?

光看 User-agent 字串不夠,因為任何人都能偽造。OpenAI 與 Anthropic 都公布爬蟲的 IP 清單,把日誌中的來源 IP 和官方清單比對,才能確認身分,兩者都符合才算數。

AI 爬蟲會不會拖慢網站?

有可能。AI 爬蟲請求量大時會增加伺服器負擔。先在日誌看請求量,再用 robots.txt 的 Crawl-delay 處理,Anthropic 說明 ClaudeBot 支援這個非標準指令,也可以改用 CDN 的速率限制。

AK · AKSEO Labs · 上線