Meta Robots 標籤Meta Robots Tag
Meta Robots 標籤是放在 HTML head 裡給搜尋引擎爬蟲讀取的 meta 指令,可以指定這一頁是否被收錄,以及摘要能怎麼顯示。
- 英文
- Meta Robots Tag
- 台灣常見別名
- robots meta、網頁 robots 指令
- 簡中用語
- robots 元标签
- 類別
- 技術SEO
- 提出者與年份
- 搜尋引擎支援的 robots 指令,沒有單一提出者;Google 的支援指令見搜尋中心文件
- 官方文件
- Google 搜尋中心:robots meta 標記、data-nosnippet 和 X-Robots-Tag 規格
Meta Robots 標籤是什麼?
Meta Robots 標籤是一行寫在網頁 head 裡的 HTML,內容是給搜尋引擎爬蟲看的指令。名稱的 robots 是爬蟲的別稱。它可以告訴 Google:這一頁不要收錄、不要跟著頁面上的連結走、不要顯示文字摘要,或預覽圖片最多放多大。
它發生在爬蟲抓到頁面、讀完內容之後,決定要不要收錄與怎麼顯示的階段。這點和 robots.txt 不同:robots.txt 管的是爬蟲能不能進去抓,Meta Robots 管的是抓到之後的處理,而且寫在每一頁的 HTML 裡,所以能針對單頁設定。
舉例
網站有一個感謝頁,使用者填完表單才會看到,沒有必要出現在搜尋結果。你在這一頁的 head 加上 noindex,Google 重新抓取後就會把它從索引移除,但網站其他頁面不受影響。
Meta Robots 標籤怎麼寫
name 寫 robots,content 放指令,多個指令用逗號分開。想只對 Google 的網頁搜尋爬蟲設定,name 改成 googlebot。
<meta name="robots" content="noindex, nofollow">
<meta name="googlebot" content="nosnippet">
Google 支援的常用指令如下:
| 指令 | 效果 |
|---|---|
| noindex | 不讓頁面出現在搜尋結果 |
| nofollow | 不追蹤這頁上的連結 |
| none | 等於 noindex 加 nofollow |
| nosnippet | 不顯示文字摘要與影片預覽 |
| max-snippet:[數字] | 限制摘要的最大字元數,0 等於 nosnippet |
| max-image-preview:[none|standard|large] | 限制圖片預覽大小 |
| noimageindex | 不索引這頁上的圖片 |
| unavailable_after:[日期] | 到指定日期與時間後不再顯示 |
實務上最常用的是 noindex,其次是限制摘要的 nosnippet 與 max-snippet。nofollow 與 none 較少用在整頁,因為站內其他頁面本來就需要靠連結被發現。
要排除頁面中的某一段文字,不讓它出現在摘要,可以在元素加上 data-nosnippet 屬性。沒有 head 的檔案,例如 PDF,改用 HTTP 標頭:X-Robots-Tag: noindex。
正確寫法
頁面可以被抓取,meta 標籤放在 head 內,指令用英文逗號分隔。
錯誤寫法
用 robots.txt 擋住頁面,又在頁面裡寫 noindex,爬蟲進不去,這個標籤就不會被讀到。Google 說明 noarchive、nocache 等較舊的指令已被忽略。
為什麼重要
Meta Robots 讓你逐頁決定收錄與顯示。搜尋結果頁、感謝頁、測試頁這類不想被收錄的頁面,用 noindex 最直接。Google 文件說明,這些規則只有在爬蟲抓到頁面時才會讀取,所以要生效的頁面一定要保持可抓取。規則衝突時,Google 採用較嚴格的那一條。
怎麼檢查
- 用瀏覽器檢視原始碼,搜尋
name="robots"與name="googlebot",確認指令正確。 - 在 Google Search Console 的網址審查查看頁面,會顯示頁面是否因為 noindex 而不被索引。
- 用 Screaming Frog 爬站,在 Directives 分頁看哪些頁面有 noindex 或 nofollow,確認沒有誤標重要頁面。
- 對 PDF 或圖片,用瀏覽器開發人員工具的 Network 分頁,檢查回應標頭有沒有 X-Robots-Tag。
常見誤解
用 robots.txt 擋住就等於 noindex。
robots.txt 只管抓取,被擋住的網址仍可能被索引。要讓頁面不出現在搜尋結果,是用 noindex。
加了 noindex 馬上就會消失。
Google 要重新抓取才會看到標籤,可能需要數天到數月。
Meta Robots、robots.txt 和 X-Robots-Tag 差在哪
| 做法 | 寫在哪裡 | 管什麼 |
|---|---|---|
| Meta Robots | 每一頁 HTML 的 head | 頁面抓到之後,是否收錄與如何顯示 |
| X-Robots-Tag | HTTP 回應標頭 | 同上,適用 PDF、圖片等非 HTML 檔案 |
| robots.txt | 網站根目錄的文字檔 | 爬蟲能不能抓取某些路徑 |
常見問題
Meta Robots 和 X-Robots-Tag 有什麼不同?
兩者的指令一樣,差在位置。Meta Robots 寫在 HTML 的 head 裡,X-Robots-Tag 寫在 HTTP 回應標頭,適合 PDF、圖片這類沒有 head 的檔案,也可以用伺服器設定整批套用,不必逐頁修改。
頁面同時有 noindex 和 robots.txt 的 Disallow,結果會怎樣?
noindex 會失效。爬蟲被 robots.txt 擋住,就讀不到頁面裡的 meta 標籤,頁面仍可能因為別處的連結被收錄。想讓頁面從搜尋結果消失,要讓它可以被抓取,再用 noindex。
多個 robots 規則互相衝突時,Google 聽誰的?
採用限制較嚴格的規則。例如同時有 nosnippet 和 max-snippet:50,nosnippet 會優先。通用的 robots 標籤和 googlebot 專屬標籤不同時,兩邊的限制會合併,一起生效,所以排查時要兩個標籤都看。
Meta Robots 可以只針對 Googlebot 設定嗎?
可以。把 name 從 robots 改成 googlebot,規則就只對 Google 的文字搜尋爬蟲生效,Google 新聞則改用 googlebot-news。通用標籤和專屬標籤設定不同時,Google 會合併採用較嚴格的限制。