跳到主要內容

robots.txt 檔案Robots Exclusion Standard (Robots.txt)

robots.txt 檔案是放在網站根目錄的純文字檔,用來告訴遵守規範的爬蟲哪些路徑可以抓取、哪些不要抓取。

英文
Robots Exclusion Standard (Robots.txt)
台灣常見別名
機器人排除標準、robots 檔案、爬蟲規則檔
簡中用語
robots.txt 文件
類別
技術SEO
提出者與年份
Martijn Koster,1994 年提出;2022 年 9 月由 IETF 標準化為 RFC 9309
官方文件
Google 搜尋中心:robots.txt 簡介;Google 搜尋中心:建立 robots.txt 檔案;RFC 9309

robots.txt 檔案是什麼?

robots.txt 是放在網站根目錄的純文字檔,網址固定是「網域加 /robots.txt」。爬蟲來到網站,會先讀這個檔案,看網站經營者希望它抓哪些路徑、避開哪些路徑。這套規則叫機器人排除協定(Robots Exclusion Protocol),由 Martijn Koster 在 1994 年提出,2022 年才由 IETF 標準化為 RFC 9309。

它屬於爬取階段,管的是爬蟲能不能抓某個網址,不管那個網址能不能被收錄。它也只是請求,守規矩的搜尋引擎會照做,惡意爬蟲不會理它,所以不能用來保護機密資料。

舉例

網站有後台 /admin/ 和站內搜尋結果頁 /search,這些頁面對搜尋的人沒有價值,卻會浪費爬蟲的抓取次數。網站在 robots.txt 對這兩個路徑寫上 Disallow,爬蟲就不會再去抓。

robots.txt 檔案怎麼寫

Google 只認四個欄位:user-agent、allow、disallow、sitemap,欄位名稱不分大小寫,路徑則分大小寫。每組規則從 user-agent 開始,指定這組給哪個爬蟲。

User-agent: *
Disallow: /admin/
Allow: /admin/help.html
Disallow: /*?sessionid=
Disallow: /*.pdf$

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://example.com/sitemap.xml

星號 * 代表任意字元,$ 代表網址結尾。Google 不支援 crawl-delay,檔案只讀前 500 KiB。子網域和不同通訊埠各自要有自己的檔案。

正確寫法

檔案放在網站根目錄,例如 https://example.com/robots.txt,每組規則以 user-agent 開頭。

錯誤寫法

一,放在 /assets/robots.txt,爬蟲只讀根目錄。二,寫 Noindex: /page/,Google 不讀這條。三,誤寫 Disallow: /,把整個網站都擋掉。

為什麼重要

搜尋引擎知道某個網址存在、抓取頁面內容、把頁面收錄進索引,是三件不同的事。robots.txt 只管第二件。Google 文件說明,被擋住的網址如果有別人連過來,仍可能出現在搜尋結果,只是沒有內容摘要。

它最適合用來減少爬蟲在無價值路徑上的請求,例如參數網址、後台和站內搜尋頁。想讓頁面真的不出現在搜尋結果,要讓頁面可以被抓,再用 noindex。

怎麼檢查

  1. 直接在瀏覽器打開 網域/robots.txt,確認檔案存在、內容是純文字、沒有被轉址到別處。
  2. 在 Google 搜尋主控台的「設定」裡開啟 robots.txt 報表,看 Google 讀到的版本、抓取時間與有沒有語法問題。
  3. 用「網址審查」檢查重要頁面,如果狀態顯示被 robots.txt 封鎖,就回頭改規則。
  4. 每次網站改版或換主機後重看一次,確認測試環境的 Disallow: / 沒有被帶到正式網站。

常見誤解

  • Disallow 的頁面就不會出現在搜尋結果。

    Google 說明被擋的網址仍可能被收錄,只是沒有內容。要不出現,應使用 noindex。

  • robots.txt 可以保護私人資料。

    檔案是公開的,任何人都能讀,還會把你不想被看到的路徑列出來。機密內容要用密碼或存取控制。

  • 在 robots.txt 設定 crawl-delay 可以限制 Google 的抓取速度。

    Google 不支援 crawl-delay,會直接忽略。

常見問題

robots.txt 要怎麼擋 AI 爬蟲?

用 user-agent 指名那個爬蟲,再寫 Disallow: /,例如 User-agent: GPTBot 加上 Disallow: /。Google 的 Google-Extended 也是用 robots.txt 設定的控制項。這只是請求而不是強制,是否遵守取決於對方,真正敏感的內容要靠登入或權限保護。

網站沒有 robots.txt 會怎樣?

Google 找不到檔案(回應 404)時,會當成沒有任何限制,整站都可以抓。沒有特別要擋的路徑,不放這個檔案也沒有問題,有需要再建立即可。

robots.txt 擋住的頁面還會出現在搜尋結果嗎?

可能會。robots.txt 只限制爬取,網址若被其他網站連結,仍可能被索引,只是沒有內容摘要。要讓頁面不出現應使用 noindex,且不能同時擋住爬取,否則爬蟲讀不到 noindex。

閱讀更多

AK · AKSEO Labs · 上線