跳到主要內容

ChatGPT-User 抓取器ChatGPT-User

ChatGPT-User 抓取器是 OpenAI 的使用者觸發請求代理,在使用者要求 ChatGPT 讀取網頁時才去抓那一頁,並不會自動爬站。

英文
ChatGPT-User
台灣常見別名
ChatGPT-User、ChatGPT 使用者代理
簡中用語
ChatGPT 用户代理
類別
AI搜尋與GEO
提出者與年份
OpenAI;ChatGPT-User 與 OAI-SearchBot、GPTBot 並列於官方爬蟲文件,首次公開年份未查到
官方文件
OpenAI:Overview of OpenAI Crawlers

ChatGPT-User 抓取器是什麼?

ChatGPT-User 是 OpenAI 的網頁請求代理。它不是會自己四處爬網站的爬蟲,而是使用者在 ChatGPT 裡貼了網址、或要求 ChatGPT 查某個網頁時,ChatGPT 才派它去讀那一頁。OpenAI 的文件原文說,ChatGPT-User 不用於自動爬取網路。自訂 GPT 的動作(GPT Actions)呼叫網站時,也是用它。

OpenAI 目前公布三個名稱,用途分開:OAI-SearchBot 負責 ChatGPT 搜尋索引,GPTBot 負責收集可能用於訓練的內容,ChatGPT-User 負責使用者觸發的存取。所以 ChatGPT-User 發生在使用者提問、模型需要即時讀取一頁的那一刻,和建立搜尋索引是不同階段。

舉例

你的網站發布了一則活動公告,有人把網址貼給 ChatGPT,問「活動日期是哪天」。ChatGPT 派 ChatGPT-User 讀取那頁,伺服器日誌會多出一筆這個 User-Agent 的請求,回應 200 就代表內容送出去了。

ChatGPT-User 抓取器怎麼寫

ChatGPT-User 的完整 User-Agent 字串,依 OpenAI 文件如下,版本號可能會變動:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

想在 robots.txt 設定,寫法和其他爬蟲相同。要搜尋與使用者觸發都允許、只拒絕訓練時,可以這樣分開寫:

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Disallow: /

正確寫法

依用途分開設定三個名稱,並用 OpenAI 公布的 IP 清單(chatgpt-user.json)驗證日誌中的請求是不是真的來自 OpenAI。

錯誤寫法

只用 User-Agent 字串判斷身分,任何人都能偽造。另一種錯誤是寫了 User-agent: ChatGPT-User 加 Disallow: / 就以為完全擋住,OpenAI 說明這類使用者觸發的請求,robots.txt 規則可能不適用。

為什麼重要

ChatGPT-User 的請求代表有真人正在問和你的網頁有關的問題,這是 AI 搜尋流量的前哨。看到它,代表你的頁面至少能被讀取。但伺服器回 200 只表示資料送出去,無法得知答案最後有沒有引用這個頁面。反過來,如果日誌看不到 ChatGPT-User,也許是主機或 CDN 防火牆把它擋掉了。

怎麼檢查

  1. 在主機或 CDN(例如 Cloudflare)的日誌中,搜尋 User-Agent 含「ChatGPT-User」的請求,看時間、網址與狀態碼。
  2. 把請求的來源 IP 與 OpenAI 公布的 chatgpt-user.json 比對,確認不是偽造。
  3. 自己貼一個網址給 ChatGPT,要它讀取內容,再回日誌確認有沒有出現那一筆請求,以及是否回 200。
  4. 如果狀態碼是 403 或 429,檢查防火牆或機器人防護是否擋掉了它,再決定要不要放行。

常見誤解

  • ChatGPT-User 是 OpenAI 的訓練爬蟲。

    訓練用途的是 GPTBot。ChatGPT-User 只在使用者要求時讀取單一頁面。

  • 看到 ChatGPT-User 來訪,就代表網站被 ChatGPT 引用了。

    它只代表有人要求讀取這個網址,答案裡有沒有引用要看使用者實際看到的回應。

ChatGPT-User、OAI-SearchBot 和 GPTBot 差在哪

名稱用途什麼時候來robots.txt
ChatGPT-User回答使用者的提問使用者貼網址或要求讀取時可能不適用
OAI-SearchBot建立 ChatGPT 搜尋索引定期自動抓取適用,變更約 24 小時生效
GPTBot收集可能用於訓練的內容定期自動抓取適用,Disallow 即拒絕訓練

常見問題

擋掉 ChatGPT-User 會不會讓網站從 ChatGPT 搜尋消失?

不會。OpenAI 說明 ChatGPT-User 不用來判斷內容是否出現在搜尋結果。想控制 ChatGPT 搜尋要用 OAI-SearchBot。擋掉 ChatGPT-User 只會影響使用者主動貼網址、要 ChatGPT 讀取那一頁的情況。

在 robots.txt 寫了 Disallow,ChatGPT-User 還是來了怎麼辦?

OpenAI 說明因為是使用者觸發的動作,robots.txt 規則可能不適用。要阻擋,需要在伺服器或 CDN 防火牆,依 User-Agent 搭配 OpenAI 公布的 IP 範圍拒絕請求,只靠 robots.txt 擋不住。

網站想被 ChatGPT 引用,三個名稱都要放行嗎?

至少要放行 OAI-SearchBot,讓網站進入 ChatGPT 搜尋索引。ChatGPT-User 建議也放行,這樣使用者貼網址時才讀得到內容。GPTBot 只和訓練有關,要不要放行由你決定,不影響搜尋可見度。

怎麼在日誌裡認出 ChatGPT-User?

看 User-Agent 是否含 ChatGPT-User/1.0。這個字串可以被偽造,所以要再把來源 IP 和 OpenAI 公布的 ChatGPT-User IP 清單比對,兩者都符合才算確認,只符合其中一項還不夠,仍可能是冒用的請求。

AK · AKSEO Labs · 上線