跳到主要內容

Google-Extended 控制符Google-Extended

Google-Extended 控制符是 robots.txt 裡的控制名稱,讓網站決定內容能否用於訓練 Gemini 或作為其查證資料,不影響搜尋排名。

英文
Google-Extended
台灣常見別名
Google-Extended 標記、Google 擴充使用控制符
簡中用語
Google-Extended 控制标记
類別
AI搜尋與GEO
提出者與年份
Google,2023 年 9 月 28 日公布,當時用於 Bard 與 Vertex AI 生成式 API,現用於 Gemini
官方文件
Google 常見爬蟲文件中的 Google-Extended 段落

Google-Extended 控制符是什麼?

Google-Extended 是 Google 讓網站主放在 robots.txt 裡的一個名稱,用來決定 Google 抓到的內容,能不能被拿去訓練未來的 Gemini 模型,以及在 Gemini 回答時當作查證依據(grounding)。它只是一個控制名稱,並沒有一支叫 Google-Extended 的爬蟲,也沒有獨立的 User-agent 字串,實際抓取仍用 Google 既有的爬蟲。

Google 在 2023 年 9 月 28 日公布這個控制項,當時的用途是 Bard 與 Vertex AI 的生成式 API,Bard 改名 Gemini 之後,文件改寫成 Gemini 的訓練與 grounding。它位在「內容已經被抓取之後,要拿去做什麼」這一步,不處理要不要被搜尋收錄。

舉例

一家出版社的網站公開了書籍介紹與試讀章節,希望讀者能在 Google 搜到這些頁面,但不想讓書籍內容被用來訓練 Gemini。它在 robots.txt 寫上 Google-Extended 的 Disallow,搜尋中的 Googlebot 抓取完全不受影響。

Google-Extended 控制符怎麼寫

規則寫在網站根目錄的 robots.txt,用 User-agent 指定 Google-Extended,再用 Disallow 或 Allow 決定範圍。

# 整站不給 Gemini 訓練與 grounding 使用
User-agent: Google-Extended
Disallow: /

# 只排除特定目錄
User-agent: Google-Extended
Disallow: /archive/

# 其他爬蟲不受影響
User-agent: Googlebot
Allow: /

正確寫法

Google-Extended 單獨一組 User-agent,路徑從根目錄開始寫,Googlebot 的規則另外寫,不去動它。

錯誤寫法

把 User-agent: Googlebot 加上 Disallow: / 當成「不給 AI 用」,這會讓整站從 Google 搜尋消失。另一種錯誤是以為擋了 Google-Extended,AI 摘要就不會引用網站,兩者是不同的機制。

為什麼重要

很多網站主想保留搜尋流量,又不願意讓內容無限制地進入模型訓練。Google-Extended 提供了這個切分:Google 文件說明它不影響網站是否被收錄在搜尋,也不是排名訊號。但要注意範圍:AI 摘要、AI 模式是搜尋功能的一部分,管理方式是 Googlebot 的規則,以及 nosnippet、data-nosnippet、max-snippet 與 noindex,Google-Extended 在這裡無效。

怎麼檢查

  1. 打開 你的網域/robots.txt,確認 Google-Extended 的規則寫在獨立的一組,路徑正確。
  2. 在 Google Search Console 的 robots.txt 報告,確認 Google 讀到的是最新版本,沒有語法錯誤。
  3. 用 Search Console 的網址審查,確認 Googlebot 仍能抓取想被搜尋的頁面。
  4. 想限制 AI 摘要的顯示,另外檢查頁面有沒有 nosnippet 或 max-snippet 標記。

常見誤解

  • Google-Extended 是一支新的爬蟲。

    Google 文件說明它沒有獨立的 HTTP 請求 User-agent 字串,是 robots.txt 裡的控制名稱。

  • 擋了 Google-Extended,網站就不會出現在 AI 摘要。

    AI 摘要用的是搜尋的系統,要用 Googlebot 與 snippet 控制項管理。

Google-Extended 和 Googlebot 差在哪

面向Google-ExtendedGooglebot
是什麼robots.txt 的控制名稱,沒有獨立 User-agentGoogle 搜尋實際抓取網頁的爬蟲
管什麼Gemini 的訓練與 grounding搜尋收錄與 AI 摘要的抓取
擋掉的後果不影響搜尋收錄與排名網頁可能從搜尋結果消失

常見問題

擋掉 Google-Extended 會影響網站在 Google 搜尋的排名嗎?

不會。Google 文件明說 Google-Extended 不影響網站是否被收錄在 Google 搜尋,也不是排名訊號。它只管內容能不能用於 Gemini 模型訓練與依據資料,排名仍由 Googlebot 抓到的內容決定。

想讓內容不出現在 AI 摘要,要怎麼做?

用 nosnippet、data-nosnippet 或 max-snippet 限制顯示的內容,或用 noindex 讓頁面完全不被索引。Google 說明 AI 摘要內建在搜尋裡,管理爬取的方式就是 Googlebot 的 robots.txt 規則,所以擋 Google-Extended 管不到 AI 摘要。

小網站要不要擋掉 Google-Extended?

看你願不願意讓內容用於 Gemini 的訓練與依據資料。擋掉不會影響搜尋收錄與排名,所以主要是立場與授權的選擇。如果你的內容有付費牆或授權限制,擋掉比較保險。

AK · AKSEO Labs · 上線