noindexnoindex
noindex是寫在頁面或 HTTP 回應裡的指令,告訴搜尋引擎不要把這個頁面收錄,也不要放進搜尋結果。
- 英文
- noindex
- 台灣常見別名
- noindex 標籤、不索引、禁止收錄
- 簡中用語
- 禁止索引、不编入索引
- 類別
- 技術SEO
- 提出者與年份
- 未查到單一提出者,是 robots meta 標籤與 X-Robots-Tag 的指令之一;Google 文件說明 Google 不支援寫在 robots.txt 裡的 noindex
- 官方文件
- Google 搜尋中心:使用 noindex 禁止 Google 搜尋建立索引;Robots meta 標記、data-nosnippet 和 X-Robots-Tag 規格
noindex是什麼?
noindex 是網站經營者給搜尋引擎的一道指令,意思是這個頁面你可以抓,但不要放進索引,也不要出現在搜尋結果裡。名稱由 no(不要)和 index(收錄、建立索引)組成。它可以寫成 HTML 的 robots meta 標籤,也可以用 HTTP 回應標頭 X-Robots-Tag 傳達,後者能用在 PDF、圖片這類沒有 HTML 的檔案。
在搜尋流程裡,它排在爬取之後、收錄之前:爬蟲得先讀到頁面,才看得到這道指令,之後才會決定不收錄。這也表示頁面如果被 robots.txt 擋住,爬蟲讀不到 noindex,頁面反而可能因為別人連過來,而留在搜尋結果裡。
舉例
購物網站的購物車頁、會員訂單查詢頁與付款完成後的感謝頁,對搜尋的人沒有價值。網站在這些頁面加上 noindex,使用者照常使用,Google 搜尋結果裡就不會出現這些頁面。
noindex怎麼寫
有兩種寫法。HTML 頁面用 meta 標籤,放在 head 裡:
<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">
<meta name="robots" content="noindex, nofollow">
第一行對所有支援的搜尋引擎有效,第二行只針對 Google,第三行同時要求不收錄、不追蹤頁面上的連結。PDF、圖片或影片,改在伺服器回應加上標頭:
X-Robots-Tag: noindex
# Apache 範例:所有 PDF 都不收錄
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex"
</FilesMatch>
正確寫法
頁面可以被爬取,head 裡有 noindex,robots.txt 沒有擋這個網址。
錯誤寫法
一,robots.txt 擋了 /thank-you/,頁面又寫 noindex,爬蟲進不去就讀不到。二,在 robots.txt 裡寫 Noindex: /thank-you/,Google 不支援這條規則。三,把 noindex 當成轉址或 canonical 的替代品。
為什麼重要
Google 的說明是,頁面有 noindex 就會從搜尋結果移除,即使有其他網站連到它也一樣。這是處理低價值頁面、測試頁、站內搜尋結果頁、內部文件最直接的方法。
但它也是常見的事故來源:開發階段為了避免被收錄,全站先加 noindex,上線時忘了拿掉,整個網站就從搜尋結果消失。另外 noindex 只告訴搜尋引擎不要收錄,不會讓重複頁的訊號集中到別的網址,同站重複頁想指定代表網址,應該用標準網址標籤或轉址。
怎麼檢查
- 在頁面按 Ctrl+U 開原始碼,搜尋
noindex,確認 meta 標籤在 head 裡,值沒有拼錯。 - 非 HTML 檔案或要查標頭時,在終端機執行
curl -sI 網址,看回應裡有沒有 X-Robots-Tag。 - 到 Google 搜尋主控台,用「網址審查」看 Googlebot 取得的 HTML 和索引狀態,確認 Google 讀到的和你設定的一致。
- 在「網頁索引」報表查看因 noindex 被排除的網址清單,比對有沒有重要頁面被誤加。
- 檢查 robots.txt 沒有擋住這些頁面,否則 Google 讀不到 noindex。
- 網站改版或上線前,確認測試環境的全站 noindex 沒有被一起帶到正式網站。
常見誤解
noindex 和 robots.txt 的 Disallow 都是不要讓 Google 看,效果一樣。
Disallow 管的是爬蟲能不能抓取頁面,noindex 管的是頁面能不能被收錄。被 Disallow 的網址仍可能以沒有內容的形式出現在搜尋結果。
加了 noindex,頁面隔天就會消失。
Google 必須重新爬到頁面才會看到指令,時間長短取決於它多常來爬這個網址。
robots.txt 擋住再加 noindex 是雙重保險。
這樣做反而讓 noindex 失效,因為爬蟲被擋在門外,看不到頁面裡的指令。
noindex 和 robots.txt 差在哪
| 面向 | noindex | robots.txt Disallow |
|---|---|---|
| 管什麼 | 頁面能不能被收錄 | 爬蟲能不能抓取頁面 |
| 寫在哪裡 | 頁面的 meta 標籤或 HTTP 標頭 | 網站根目錄的 robots.txt |
| 爬蟲讀得到頁面嗎 | 讀得到,才看得到指令 | 讀不到 |
| 頁面還可能出現在搜尋結果嗎 | 不會 | 可能,只顯示網址 |
常見問題
noindex 多久會生效?
要等 Google 重新爬到那個頁面才會生效。常被爬的頁面可能幾天內,不重要的頁面,Google 文件提到可能要數個月。可以到 Search Console 的網址審查要求重新建立索引,加快 Google 看到新設定。
WordPress 要怎麼設定 noindex?
單一頁面可以用 Yoast SEO 或 Rank Math 的進階設定,關閉讓搜尋引擎顯示或勾選 noindex。注意「設定 → 閱讀」裡的「不鼓勵搜尋引擎索引這個網站」會讓整站輸出 noindex,網站上線後務必確認它是關閉的。
noindex 的頁面要放進 sitemap 嗎?
不要。sitemap 的用途是告訴 Google 你希望被收錄的網址,把 noindex 頁面放進去,等於同時給了兩個互相矛盾的訊號,Search Console 也會因此提示警告。要移除的頁面也一併從 sitemap 拿掉。
noindex 的頁面還會被 Google 爬嗎?
會。noindex 只決定頁面要不要被收錄,Google 還是得先抓取頁面才能讀到這個標籤。所以它不能用來節省爬取資源,想完全不讓爬蟲進入才需要用 robots.txt。