ChatGPT-User 抓取器ChatGPT-User
ChatGPT-User 抓取器是 OpenAI 的使用者觸發請求代理,在使用者要求 ChatGPT 讀取網頁時才去抓那一頁,並不會自動爬站。
- 英文
- ChatGPT-User
- 台灣常見別名
- ChatGPT-User、ChatGPT 使用者代理
- 簡中用語
- ChatGPT 用户代理
- 類別
- AI搜尋與GEO
- 提出者與年份
- OpenAI;ChatGPT-User 與 OAI-SearchBot、GPTBot 並列於官方爬蟲文件,首次公開年份未查到
- 官方文件
- OpenAI:Overview of OpenAI Crawlers
ChatGPT-User 抓取器是什麼?
ChatGPT-User 是 OpenAI 的網頁請求代理。它不是會自己四處爬網站的爬蟲,而是使用者在 ChatGPT 裡貼了網址、或要求 ChatGPT 查某個網頁時,ChatGPT 才派它去讀那一頁。OpenAI 的文件原文說,ChatGPT-User 不用於自動爬取網路。自訂 GPT 的動作(GPT Actions)呼叫網站時,也是用它。
OpenAI 目前公布三個名稱,用途分開:OAI-SearchBot 負責 ChatGPT 搜尋索引,GPTBot 負責收集可能用於訓練的內容,ChatGPT-User 負責使用者觸發的存取。所以 ChatGPT-User 發生在使用者提問、模型需要即時讀取一頁的那一刻,和建立搜尋索引是不同階段。
舉例
你的網站發布了一則活動公告,有人把網址貼給 ChatGPT,問「活動日期是哪天」。ChatGPT 派 ChatGPT-User 讀取那頁,伺服器日誌會多出一筆這個 User-Agent 的請求,回應 200 就代表內容送出去了。
ChatGPT-User 抓取器怎麼寫
ChatGPT-User 的完整 User-Agent 字串,依 OpenAI 文件如下,版本號可能會變動:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
想在 robots.txt 設定,寫法和其他爬蟲相同。要搜尋與使用者觸發都允許、只拒絕訓練時,可以這樣分開寫:
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: GPTBot
Disallow: /
正確寫法
依用途分開設定三個名稱,並用 OpenAI 公布的 IP 清單(chatgpt-user.json)驗證日誌中的請求是不是真的來自 OpenAI。
錯誤寫法
只用 User-Agent 字串判斷身分,任何人都能偽造。另一種錯誤是寫了 User-agent: ChatGPT-User 加 Disallow: / 就以為完全擋住,OpenAI 說明這類使用者觸發的請求,robots.txt 規則可能不適用。
為什麼重要
ChatGPT-User 的請求代表有真人正在問和你的網頁有關的問題,這是 AI 搜尋流量的前哨。看到它,代表你的頁面至少能被讀取。但伺服器回 200 只表示資料送出去,無法得知答案最後有沒有引用這個頁面。反過來,如果日誌看不到 ChatGPT-User,也許是主機或 CDN 防火牆把它擋掉了。
怎麼檢查
- 在主機或 CDN(例如 Cloudflare)的日誌中,搜尋 User-Agent 含「ChatGPT-User」的請求,看時間、網址與狀態碼。
- 把請求的來源 IP 與 OpenAI 公布的 chatgpt-user.json 比對,確認不是偽造。
- 自己貼一個網址給 ChatGPT,要它讀取內容,再回日誌確認有沒有出現那一筆請求,以及是否回 200。
- 如果狀態碼是 403 或 429,檢查防火牆或機器人防護是否擋掉了它,再決定要不要放行。
常見誤解
ChatGPT-User 是 OpenAI 的訓練爬蟲。
訓練用途的是 GPTBot。ChatGPT-User 只在使用者要求時讀取單一頁面。
看到 ChatGPT-User 來訪,就代表網站被 ChatGPT 引用了。
它只代表有人要求讀取這個網址,答案裡有沒有引用要看使用者實際看到的回應。
ChatGPT-User、OAI-SearchBot 和 GPTBot 差在哪
| 名稱 | 用途 | 什麼時候來 | robots.txt |
|---|---|---|---|
| ChatGPT-User | 回答使用者的提問 | 使用者貼網址或要求讀取時 | 可能不適用 |
| OAI-SearchBot | 建立 ChatGPT 搜尋索引 | 定期自動抓取 | 適用,變更約 24 小時生效 |
| GPTBot | 收集可能用於訓練的內容 | 定期自動抓取 | 適用,Disallow 即拒絕訓練 |
常見問題
擋掉 ChatGPT-User 會不會讓網站從 ChatGPT 搜尋消失?
不會。OpenAI 說明 ChatGPT-User 不用來判斷內容是否出現在搜尋結果。想控制 ChatGPT 搜尋要用 OAI-SearchBot。擋掉 ChatGPT-User 只會影響使用者主動貼網址、要 ChatGPT 讀取那一頁的情況。
在 robots.txt 寫了 Disallow,ChatGPT-User 還是來了怎麼辦?
OpenAI 說明因為是使用者觸發的動作,robots.txt 規則可能不適用。要阻擋,需要在伺服器或 CDN 防火牆,依 User-Agent 搭配 OpenAI 公布的 IP 範圍拒絕請求,只靠 robots.txt 擋不住。
網站想被 ChatGPT 引用,三個名稱都要放行嗎?
至少要放行 OAI-SearchBot,讓網站進入 ChatGPT 搜尋索引。ChatGPT-User 建議也放行,這樣使用者貼網址時才讀得到內容。GPTBot 只和訓練有關,要不要放行由你決定,不影響搜尋可見度。
怎麼在日誌裡認出 ChatGPT-User?
看 User-Agent 是否含 ChatGPT-User/1.0。這個字串可以被偽造,所以要再把來源 IP 和 OpenAI 公布的 ChatGPT-User IP 清單比對,兩者都符合才算確認,只符合其中一項還不夠,仍可能是冒用的請求。