Google-Extended 控制符Google-Extended
Google-Extended 控制符是 robots.txt 裡的控制名稱,讓網站決定內容能否用於訓練 Gemini 或作為其查證資料,不影響搜尋排名。
- 英文
- Google-Extended
- 台灣常見別名
- Google-Extended 標記、Google 擴充使用控制符
- 簡中用語
- Google-Extended 控制标记
- 類別
- AI搜尋與GEO
- 提出者與年份
- Google,2023 年 9 月 28 日公布,當時用於 Bard 與 Vertex AI 生成式 API,現用於 Gemini
- 官方文件
- Google 常見爬蟲文件中的 Google-Extended 段落
Google-Extended 控制符是什麼?
Google-Extended 是 Google 讓網站主放在 robots.txt 裡的一個名稱,用來決定 Google 抓到的內容,能不能被拿去訓練未來的 Gemini 模型,以及在 Gemini 回答時當作查證依據(grounding)。它只是一個控制名稱,並沒有一支叫 Google-Extended 的爬蟲,也沒有獨立的 User-agent 字串,實際抓取仍用 Google 既有的爬蟲。
Google 在 2023 年 9 月 28 日公布這個控制項,當時的用途是 Bard 與 Vertex AI 的生成式 API,Bard 改名 Gemini 之後,文件改寫成 Gemini 的訓練與 grounding。它位在「內容已經被抓取之後,要拿去做什麼」這一步,不處理要不要被搜尋收錄。
舉例
一家出版社的網站公開了書籍介紹與試讀章節,希望讀者能在 Google 搜到這些頁面,但不想讓書籍內容被用來訓練 Gemini。它在 robots.txt 寫上 Google-Extended 的 Disallow,搜尋中的 Googlebot 抓取完全不受影響。
Google-Extended 控制符怎麼寫
規則寫在網站根目錄的 robots.txt,用 User-agent 指定 Google-Extended,再用 Disallow 或 Allow 決定範圍。
# 整站不給 Gemini 訓練與 grounding 使用
User-agent: Google-Extended
Disallow: /
# 只排除特定目錄
User-agent: Google-Extended
Disallow: /archive/
# 其他爬蟲不受影響
User-agent: Googlebot
Allow: /
正確寫法
Google-Extended 單獨一組 User-agent,路徑從根目錄開始寫,Googlebot 的規則另外寫,不去動它。
錯誤寫法
把 User-agent: Googlebot 加上 Disallow: / 當成「不給 AI 用」,這會讓整站從 Google 搜尋消失。另一種錯誤是以為擋了 Google-Extended,AI 摘要就不會引用網站,兩者是不同的機制。
為什麼重要
很多網站主想保留搜尋流量,又不願意讓內容無限制地進入模型訓練。Google-Extended 提供了這個切分:Google 文件說明它不影響網站是否被收錄在搜尋,也不是排名訊號。但要注意範圍:AI 摘要、AI 模式是搜尋功能的一部分,管理方式是 Googlebot 的規則,以及 nosnippet、data-nosnippet、max-snippet 與 noindex,Google-Extended 在這裡無效。
怎麼檢查
- 打開
你的網域/robots.txt,確認 Google-Extended 的規則寫在獨立的一組,路徑正確。 - 在 Google Search Console 的 robots.txt 報告,確認 Google 讀到的是最新版本,沒有語法錯誤。
- 用 Search Console 的網址審查,確認 Googlebot 仍能抓取想被搜尋的頁面。
- 想限制 AI 摘要的顯示,另外檢查頁面有沒有 nosnippet 或 max-snippet 標記。
常見誤解
Google-Extended 是一支新的爬蟲。
Google 文件說明它沒有獨立的 HTTP 請求 User-agent 字串,是 robots.txt 裡的控制名稱。
擋了 Google-Extended,網站就不會出現在 AI 摘要。
AI 摘要用的是搜尋的系統,要用 Googlebot 與 snippet 控制項管理。
Google-Extended 和 Googlebot 差在哪
| 面向 | Google-Extended | Googlebot |
|---|---|---|
| 是什麼 | robots.txt 的控制名稱,沒有獨立 User-agent | Google 搜尋實際抓取網頁的爬蟲 |
| 管什麼 | Gemini 的訓練與 grounding | 搜尋收錄與 AI 摘要的抓取 |
| 擋掉的後果 | 不影響搜尋收錄與排名 | 網頁可能從搜尋結果消失 |
常見問題
擋掉 Google-Extended 會影響網站在 Google 搜尋的排名嗎?
不會。Google 文件明說 Google-Extended 不影響網站是否被收錄在 Google 搜尋,也不是排名訊號。它只管內容能不能用於 Gemini 模型訓練與依據資料,排名仍由 Googlebot 抓到的內容決定。
想讓內容不出現在 AI 摘要,要怎麼做?
用 nosnippet、data-nosnippet 或 max-snippet 限制顯示的內容,或用 noindex 讓頁面完全不被索引。Google 說明 AI 摘要內建在搜尋裡,管理爬取的方式就是 Googlebot 的 robots.txt 規則,所以擋 Google-Extended 管不到 AI 摘要。
小網站要不要擋掉 Google-Extended?
看你願不願意讓內容用於 Gemini 的訓練與依據資料。擋掉不會影響搜尋收錄與排名,所以主要是立場與授權的選擇。如果你的內容有付費牆或授權限制,擋掉比較保險。