跳到主要內容

使用者代理程式User-Agent (UA)

使用者代理程式是發出 HTTP 請求的軟體,瀏覽器或爬蟲會在請求標頭用一串文字表明自己的名稱與版本。

英文
User-Agent (UA)
台灣常見別名
UA、User-Agent、用戶代理
簡中用語
用户代理、UA 标识
類別
技術SEO
提出者與年份
HTTP 協定的一部分,User-Agent 標頭早在 HTTP/1.0(RFC 1945,1996 年)就已定義,現行規範見 RFC 9110(2022 年)
官方文件
Google 搜尋中心:Google 常見的爬蟲;RFC 9110:HTTP Semantics

使用者代理程式是什麼?

使用者代理程式(User Agent,簡稱 UA)是替使用者向網站發出請求的軟體,例如 Chrome 瀏覽器、Googlebot 爬蟲,或一支抓資料的程式。每次發出請求時,它會在 HTTP 標頭裡附上一個 User-Agent 欄位,用一串文字說明自己是什麼軟體、什麼版本。網站和伺服器日誌靠這串文字,分辨來的是一般瀏覽器還是爬蟲。

它發生在每一次請求,屬於爬取階段的身分資訊。robots.txt 裡的 user-agent 欄位,也是用爬蟲的名稱來指定規則適用於誰。這串文字是請求端自己填的,沒有驗證機制,所以任何人都能假冒成 Googlebot。

舉例

你在 robots.txt 寫了 User-agent: Googlebot-Image 加上 Disallow: /private-images/,只有 Google 的圖片爬蟲會被擋,一般 Googlebot 和其他搜尋引擎的爬蟲不受影響。

使用者代理程式怎麼寫

下面是常見的 User-Agent 字串。版本號會隨更新變動,Google 文件用 W.X.Y.Z 代表會變動的 Chrome 版本:

# Chrome 桌機版瀏覽器
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36

# Googlebot 智慧型手機版
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Googlebot 桌機版
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

# Bing
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

爬蟲真正的名稱在字串裡,例如 Googlebot/2.1、bingbot/2.0。在 robots.txt 指定規則時,寫的是這個名稱,不是整串文字。

爬蟲名稱用途
GooglebotGoogle 搜尋的網頁抓取
Googlebot-ImageGoogle 圖片搜尋
bingbotBing 搜尋
GPTBotOpenAI 的網頁爬蟲,用於訓練資料
ClaudeBotAnthropic 的網頁爬蟲

正確做法

用 User-Agent 篩出可疑請求之後,再用反向 DNS 或 Google 公布的 IP 範圍驗證,確認來源。

不建議的做法

只看到 User-Agent 含 Googlebot 就放行;用 User-Agent 當成存取密碼;依 User-Agent 判斷裝置來決定版面,而不是用響應式設計。

為什麼重要

做 SEO 時,User-Agent 是分析伺服器日誌、確認 Googlebot 有沒有來抓頁面的第一個篩選條件。它也決定 robots.txt 的規則對誰有效。Google 說明 User-Agent 字串可以被偽造,所以只靠這個欄位無法證明對方是真的 Google。

Chrome 近年縮減了 User-Agent 字串裡的版本與裝置細節,改用 User-Agent Client Hints 提供,所以瀏覽器送出的字串資訊比以前少,用它判斷裝置或版本越來越不可靠。

怎麼檢查

  1. 在 Chrome 開發人員工具的 Network 面板點選任何請求,在 Request Headers 裡找 User-Agent,看你的瀏覽器送出的是什麼。
  2. 在伺服器日誌篩出含 Googlebot 的請求,看它們抓了哪些網址、回了什麼狀態碼。
  3. 驗證是不是真的 Googlebot:對來源 IP 做反向 DNS,主機名稱應該是 crawl-xxx.googlebot.com 或 geo-crawl-xxx.geo.googlebot.com,再對該主機名稱做正向查詢確認指回同一個 IP,也可以比對 Google 公布的 IP 範圍。
  4. 在 Google 搜尋主控台的網址審查,看 Google 是用手機版還是電腦版的 Googlebot 抓你的頁面。

常見誤解

  • 看到 Googlebot 的 User-Agent,就一定是 Google 來的。

    Google 說明這個欄位可以偽造,要用反向 DNS 或公布的 IP 範圍驗證。

  • 可以用 User-Agent 對 Googlebot 顯示不同的內容。

    替爬蟲顯示和使用者不同的內容,有被視為 cloaking 的風險。需要不同版面時,用響應式設計。

  • 每個瀏覽器的 User-Agent 都會寫出完整版本與裝置型號。

    許多瀏覽器現在會縮減這些細節,伺服器拿到的內容因瀏覽器而不同。

常見問題

為什麼瀏覽器的 User-Agent 開頭都是 Mozilla/5.0?

這是歷史原因。早期網站只給 Netscape(代號 Mozilla)完整版面,其他瀏覽器為了拿到完整頁面,也自稱 Mozilla,之後所有瀏覽器都沿用,現在這個開頭已經沒有實際意義。

robots.txt 的 user-agent 要寫完整字串嗎?

不用。寫爬蟲的名稱就好,例如 Googlebot、Googlebot-Image、bingbot、GPTBot,不需要寫完整的 User-Agent 字串。名稱要查各家官方文件確認拼法,拼錯的話這條規則就不會生效,也不會有提示。

可以用 User-Agent 擋掉假的 Googlebot 嗎?

不能只靠 User-Agent,因為任何人都能偽造。要擋,先用反向 DNS 或 Google 公布的 IP 範圍驗證請求來源,確認不是真的 Googlebot 之後,再封鎖那個 IP,才不會誤擋 Google 的爬蟲。

怎麼從伺服器紀錄找出 Googlebot?

在伺服器紀錄篩選 User-Agent 含 Googlebot 的請求,再用反向 DNS 或 Google 公布的 IP 範圍驗證。只看字串可能混入偽裝的請求,也可以拿 Search Console 的檢索統計資料來對照。

切換 User-Agent 可以拿來測試 SEO 嗎?

可以做粗略檢查,例如在開發人員工具切換成 Googlebot 的 User-Agent,看伺服器有沒有回不同內容。但來源 IP 不同,結果不等於 Google 實際看到的,最後還是要用網址檢查工具確認。

AK · AKSEO Labs · 上線