robots.txt 檔案Robots Exclusion Standard (Robots.txt)
robots.txt 檔案是放在網站根目錄的純文字檔,用來告訴遵守規範的爬蟲哪些路徑可以抓取、哪些不要抓取。
- 英文
- Robots Exclusion Standard (Robots.txt)
- 台灣常見別名
- 機器人排除標準、robots 檔案、爬蟲規則檔
- 簡中用語
- robots.txt 文件
- 類別
- 技術SEO
- 提出者與年份
- Martijn Koster,1994 年提出;2022 年 9 月由 IETF 標準化為 RFC 9309
- 官方文件
- Google 搜尋中心:robots.txt 簡介;Google 搜尋中心:建立 robots.txt 檔案;RFC 9309
robots.txt 檔案是什麼?
robots.txt 是放在網站根目錄的純文字檔,網址固定是「網域加 /robots.txt」。爬蟲來到網站,會先讀這個檔案,看網站經營者希望它抓哪些路徑、避開哪些路徑。這套規則叫機器人排除協定(Robots Exclusion Protocol),由 Martijn Koster 在 1994 年提出,2022 年才由 IETF 標準化為 RFC 9309。
它屬於爬取階段,管的是爬蟲能不能抓某個網址,不管那個網址能不能被收錄。它也只是請求,守規矩的搜尋引擎會照做,惡意爬蟲不會理它,所以不能用來保護機密資料。
舉例
網站有後台 /admin/ 和站內搜尋結果頁 /search,這些頁面對搜尋的人沒有價值,卻會浪費爬蟲的抓取次數。網站在 robots.txt 對這兩個路徑寫上 Disallow,爬蟲就不會再去抓。
robots.txt 檔案怎麼寫
Google 只認四個欄位:user-agent、allow、disallow、sitemap,欄位名稱不分大小寫,路徑則分大小寫。每組規則從 user-agent 開始,指定這組給哪個爬蟲。
User-agent: *
Disallow: /admin/
Allow: /admin/help.html
Disallow: /*?sessionid=
Disallow: /*.pdf$
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://example.com/sitemap.xml
星號 * 代表任意字元,$ 代表網址結尾。Google 不支援 crawl-delay,檔案只讀前 500 KiB。子網域和不同通訊埠各自要有自己的檔案。
正確寫法
檔案放在網站根目錄,例如 https://example.com/robots.txt,每組規則以 user-agent 開頭。
錯誤寫法
一,放在 /assets/robots.txt,爬蟲只讀根目錄。二,寫 Noindex: /page/,Google 不讀這條。三,誤寫 Disallow: /,把整個網站都擋掉。
為什麼重要
搜尋引擎知道某個網址存在、抓取頁面內容、把頁面收錄進索引,是三件不同的事。robots.txt 只管第二件。Google 文件說明,被擋住的網址如果有別人連過來,仍可能出現在搜尋結果,只是沒有內容摘要。
它最適合用來減少爬蟲在無價值路徑上的請求,例如參數網址、後台和站內搜尋頁。想讓頁面真的不出現在搜尋結果,要讓頁面可以被抓,再用 noindex。
怎麼檢查
- 直接在瀏覽器打開
網域/robots.txt,確認檔案存在、內容是純文字、沒有被轉址到別處。 - 在 Google 搜尋主控台的「設定」裡開啟 robots.txt 報表,看 Google 讀到的版本、抓取時間與有沒有語法問題。
- 用「網址審查」檢查重要頁面,如果狀態顯示被 robots.txt 封鎖,就回頭改規則。
- 每次網站改版或換主機後重看一次,確認測試環境的 Disallow: / 沒有被帶到正式網站。
常見誤解
Disallow 的頁面就不會出現在搜尋結果。
Google 說明被擋的網址仍可能被收錄,只是沒有內容。要不出現,應使用 noindex。
robots.txt 可以保護私人資料。
檔案是公開的,任何人都能讀,還會把你不想被看到的路徑列出來。機密內容要用密碼或存取控制。
在 robots.txt 設定 crawl-delay 可以限制 Google 的抓取速度。
Google 不支援 crawl-delay,會直接忽略。
常見問題
robots.txt 要怎麼擋 AI 爬蟲?
用 user-agent 指名那個爬蟲,再寫 Disallow: /,例如 User-agent: GPTBot 加上 Disallow: /。Google 的 Google-Extended 也是用 robots.txt 設定的控制項。這只是請求而不是強制,是否遵守取決於對方,真正敏感的內容要靠登入或權限保護。
網站沒有 robots.txt 會怎樣?
Google 找不到檔案(回應 404)時,會當成沒有任何限制,整站都可以抓。沒有特別要擋的路徑,不放這個檔案也沒有問題,有需要再建立即可。
robots.txt 擋住的頁面還會出現在搜尋結果嗎?
可能會。robots.txt 只限制爬取,網址若被其他網站連結,仍可能被索引,只是沒有內容摘要。要讓頁面不出現應使用 noindex,且不能同時擋住爬取,否則爬蟲讀不到 noindex。
閱讀更多
- robots.txt 是什麼?設定、指令與安全邊界完整說明
長文用不同目錄、分流爬蟲和搜尋頁情境完整拆解指令、設定錯誤及測完後的監控。