跳到主要內容

Meta Robots 標籤Meta Robots Tag

Meta Robots 標籤是放在 HTML head 裡給搜尋引擎爬蟲讀取的 meta 指令,可以指定這一頁是否被收錄,以及摘要能怎麼顯示。

英文
Meta Robots Tag
台灣常見別名
robots meta、網頁 robots 指令
簡中用語
robots 元标签
類別
技術SEO
提出者與年份
搜尋引擎支援的 robots 指令,沒有單一提出者;Google 的支援指令見搜尋中心文件
官方文件
Google 搜尋中心:robots meta 標記、data-nosnippet 和 X-Robots-Tag 規格

Meta Robots 標籤是什麼?

Meta Robots 標籤是一行寫在網頁 head 裡的 HTML,內容是給搜尋引擎爬蟲看的指令。名稱的 robots 是爬蟲的別稱。它可以告訴 Google:這一頁不要收錄、不要跟著頁面上的連結走、不要顯示文字摘要,或預覽圖片最多放多大。

它發生在爬蟲抓到頁面、讀完內容之後,決定要不要收錄與怎麼顯示的階段。這點和 robots.txt 不同:robots.txt 管的是爬蟲能不能進去抓,Meta Robots 管的是抓到之後的處理,而且寫在每一頁的 HTML 裡,所以能針對單頁設定。

舉例

網站有一個感謝頁,使用者填完表單才會看到,沒有必要出現在搜尋結果。你在這一頁的 head 加上 noindex,Google 重新抓取後就會把它從索引移除,但網站其他頁面不受影響。

Meta Robots 標籤怎麼寫

name 寫 robots,content 放指令,多個指令用逗號分開。想只對 Google 的網頁搜尋爬蟲設定,name 改成 googlebot。

<meta name="robots" content="noindex, nofollow">
<meta name="googlebot" content="nosnippet">

Google 支援的常用指令如下:

指令效果
noindex不讓頁面出現在搜尋結果
nofollow不追蹤這頁上的連結
none等於 noindex 加 nofollow
nosnippet不顯示文字摘要與影片預覽
max-snippet:[數字]限制摘要的最大字元數,0 等於 nosnippet
max-image-preview:[none|standard|large]限制圖片預覽大小
noimageindex不索引這頁上的圖片
unavailable_after:[日期]到指定日期與時間後不再顯示

實務上最常用的是 noindex,其次是限制摘要的 nosnippet 與 max-snippet。nofollow 與 none 較少用在整頁,因為站內其他頁面本來就需要靠連結被發現。

要排除頁面中的某一段文字,不讓它出現在摘要,可以在元素加上 data-nosnippet 屬性。沒有 head 的檔案,例如 PDF,改用 HTTP 標頭:X-Robots-Tag: noindex。

正確寫法

頁面可以被抓取,meta 標籤放在 head 內,指令用英文逗號分隔。

錯誤寫法

用 robots.txt 擋住頁面,又在頁面裡寫 noindex,爬蟲進不去,這個標籤就不會被讀到。Google 說明 noarchive、nocache 等較舊的指令已被忽略。

為什麼重要

Meta Robots 讓你逐頁決定收錄與顯示。搜尋結果頁、感謝頁、測試頁這類不想被收錄的頁面,用 noindex 最直接。Google 文件說明,這些規則只有在爬蟲抓到頁面時才會讀取,所以要生效的頁面一定要保持可抓取。規則衝突時,Google 採用較嚴格的那一條。

怎麼檢查

  1. 用瀏覽器檢視原始碼,搜尋 name="robots" 與 name="googlebot",確認指令正確。
  2. 在 Google Search Console 的網址審查查看頁面,會顯示頁面是否因為 noindex 而不被索引。
  3. 用 Screaming Frog 爬站,在 Directives 分頁看哪些頁面有 noindex 或 nofollow,確認沒有誤標重要頁面。
  4. 對 PDF 或圖片,用瀏覽器開發人員工具的 Network 分頁,檢查回應標頭有沒有 X-Robots-Tag。

常見誤解

  • 用 robots.txt 擋住就等於 noindex。

    robots.txt 只管抓取,被擋住的網址仍可能被索引。要讓頁面不出現在搜尋結果,是用 noindex。

  • 加了 noindex 馬上就會消失。

    Google 要重新抓取才會看到標籤,可能需要數天到數月。

Meta Robots、robots.txt 和 X-Robots-Tag 差在哪

做法寫在哪裡管什麼
Meta Robots每一頁 HTML 的 head頁面抓到之後,是否收錄與如何顯示
X-Robots-TagHTTP 回應標頭同上,適用 PDF、圖片等非 HTML 檔案
robots.txt網站根目錄的文字檔爬蟲能不能抓取某些路徑

常見問題

Meta Robots 和 X-Robots-Tag 有什麼不同?

兩者的指令一樣,差在位置。Meta Robots 寫在 HTML 的 head 裡,X-Robots-Tag 寫在 HTTP 回應標頭,適合 PDF、圖片這類沒有 head 的檔案,也可以用伺服器設定整批套用,不必逐頁修改。

頁面同時有 noindex 和 robots.txt 的 Disallow,結果會怎樣?

noindex 會失效。爬蟲被 robots.txt 擋住,就讀不到頁面裡的 meta 標籤,頁面仍可能因為別處的連結被收錄。想讓頁面從搜尋結果消失,要讓它可以被抓取,再用 noindex。

多個 robots 規則互相衝突時,Google 聽誰的?

採用限制較嚴格的規則。例如同時有 nosnippet 和 max-snippet:50,nosnippet 會優先。通用的 robots 標籤和 googlebot 專屬標籤不同時,兩邊的限制會合併,一起生效,所以排查時要兩個標籤都看。

Meta Robots 可以只針對 Googlebot 設定嗎?

可以。把 name 從 robots 改成 googlebot,規則就只對 Google 的文字搜尋爬蟲生效,Google 新聞則改用 googlebot-news。通用標籤和專屬標籤設定不同時,Google 會合併採用較嚴格的限制。

AK · AKSEO Labs · 上線