跳到主要內容

noindexnoindex

noindex是寫在頁面或 HTTP 回應裡的指令,告訴搜尋引擎不要把這個頁面收錄,也不要放進搜尋結果。

英文
noindex
台灣常見別名
noindex 標籤、不索引、禁止收錄
簡中用語
禁止索引、不编入索引
類別
技術SEO
提出者與年份
未查到單一提出者,是 robots meta 標籤與 X-Robots-Tag 的指令之一;Google 文件說明 Google 不支援寫在 robots.txt 裡的 noindex
官方文件
Google 搜尋中心:使用 noindex 禁止 Google 搜尋建立索引;Robots meta 標記、data-nosnippet 和 X-Robots-Tag 規格

noindex是什麼?

noindex 是網站經營者給搜尋引擎的一道指令,意思是這個頁面你可以抓,但不要放進索引,也不要出現在搜尋結果裡。名稱由 no(不要)和 index(收錄、建立索引)組成。它可以寫成 HTML 的 robots meta 標籤,也可以用 HTTP 回應標頭 X-Robots-Tag 傳達,後者能用在 PDF、圖片這類沒有 HTML 的檔案。

在搜尋流程裡,它排在爬取之後、收錄之前:爬蟲得先讀到頁面,才看得到這道指令,之後才會決定不收錄。這也表示頁面如果被 robots.txt 擋住,爬蟲讀不到 noindex,頁面反而可能因為別人連過來,而留在搜尋結果裡。

舉例

購物網站的購物車頁、會員訂單查詢頁與付款完成後的感謝頁,對搜尋的人沒有價值。網站在這些頁面加上 noindex,使用者照常使用,Google 搜尋結果裡就不會出現這些頁面。

noindex怎麼寫

有兩種寫法。HTML 頁面用 meta 標籤,放在 head 裡:

<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">
<meta name="robots" content="noindex, nofollow">

第一行對所有支援的搜尋引擎有效,第二行只針對 Google,第三行同時要求不收錄、不追蹤頁面上的連結。PDF、圖片或影片,改在伺服器回應加上標頭:

X-Robots-Tag: noindex

# Apache 範例:所有 PDF 都不收錄
<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex"
</FilesMatch>

正確寫法

頁面可以被爬取,head 裡有 noindex,robots.txt 沒有擋這個網址。

錯誤寫法

一,robots.txt 擋了 /thank-you/,頁面又寫 noindex,爬蟲進不去就讀不到。二,在 robots.txt 裡寫 Noindex: /thank-you/,Google 不支援這條規則。三,把 noindex 當成轉址或 canonical 的替代品。

為什麼重要

Google 的說明是,頁面有 noindex 就會從搜尋結果移除,即使有其他網站連到它也一樣。這是處理低價值頁面、測試頁、站內搜尋結果頁、內部文件最直接的方法。

但它也是常見的事故來源:開發階段為了避免被收錄,全站先加 noindex,上線時忘了拿掉,整個網站就從搜尋結果消失。另外 noindex 只告訴搜尋引擎不要收錄,不會讓重複頁的訊號集中到別的網址,同站重複頁想指定代表網址,應該用標準網址標籤或轉址。

怎麼檢查

  1. 在頁面按 Ctrl+U 開原始碼,搜尋 noindex,確認 meta 標籤在 head 裡,值沒有拼錯。
  2. 非 HTML 檔案或要查標頭時,在終端機執行 curl -sI 網址,看回應裡有沒有 X-Robots-Tag。
  3. 到 Google 搜尋主控台,用「網址審查」看 Googlebot 取得的 HTML 和索引狀態,確認 Google 讀到的和你設定的一致。
  4. 在「網頁索引」報表查看因 noindex 被排除的網址清單,比對有沒有重要頁面被誤加。
  5. 檢查 robots.txt 沒有擋住這些頁面,否則 Google 讀不到 noindex。
  6. 網站改版或上線前,確認測試環境的全站 noindex 沒有被一起帶到正式網站。

常見誤解

  • noindex 和 robots.txt 的 Disallow 都是不要讓 Google 看,效果一樣。

    Disallow 管的是爬蟲能不能抓取頁面,noindex 管的是頁面能不能被收錄。被 Disallow 的網址仍可能以沒有內容的形式出現在搜尋結果。

  • 加了 noindex,頁面隔天就會消失。

    Google 必須重新爬到頁面才會看到指令,時間長短取決於它多常來爬這個網址。

  • robots.txt 擋住再加 noindex 是雙重保險。

    這樣做反而讓 noindex 失效,因為爬蟲被擋在門外,看不到頁面裡的指令。

noindex 和 robots.txt 差在哪

面向noindexrobots.txt Disallow
管什麼頁面能不能被收錄爬蟲能不能抓取頁面
寫在哪裡頁面的 meta 標籤或 HTTP 標頭網站根目錄的 robots.txt
爬蟲讀得到頁面嗎讀得到,才看得到指令讀不到
頁面還可能出現在搜尋結果嗎不會可能,只顯示網址

常見問題

noindex 多久會生效?

要等 Google 重新爬到那個頁面才會生效。常被爬的頁面可能幾天內,不重要的頁面,Google 文件提到可能要數個月。可以到 Search Console 的網址審查要求重新建立索引,加快 Google 看到新設定。

WordPress 要怎麼設定 noindex?

單一頁面可以用 Yoast SEO 或 Rank Math 的進階設定,關閉讓搜尋引擎顯示或勾選 noindex。注意「設定 → 閱讀」裡的「不鼓勵搜尋引擎索引這個網站」會讓整站輸出 noindex,網站上線後務必確認它是關閉的。

noindex 的頁面要放進 sitemap 嗎?

不要。sitemap 的用途是告訴 Google 你希望被收錄的網址,把 noindex 頁面放進去,等於同時給了兩個互相矛盾的訊號,Search Console 也會因此提示警告。要移除的頁面也一併從 sitemap 拿掉。

noindex 的頁面還會被 Google 爬嗎?

會。noindex 只決定頁面要不要被收錄,Google 還是得先抓取頁面才能讀到這個標籤。所以它不能用來節省爬取資源,想完全不讓爬蟲進入才需要用 robots.txt。

AK · AKSEO Labs · 上線