跳到主要內容

爬取Crawling

爬取是搜尋引擎的爬蟲沿著連結與網站地圖找到網址,再向伺服器請求並取回網頁內容的步驟。

英文
Crawling
台灣常見別名
爬取、檢索、網站抓取
簡中用語
抓取、网页爬取
類別
技術SEO
提出者與年份
網路資訊檢索通用術語,無單一提出者
官方文件
Google 搜尋中心:Google 搜尋的運作方式(檢索階段)

爬取是什麼?

爬取是搜尋引擎的爬蟲沿著連結與網站地圖找到網址,再向伺服器請求網頁與相關資源,把內容取回來的步驟。Google 的爬蟲叫 Googlebot,也被稱為 bot 或 spider。

它是 Google 搜尋運作三個階段的第一步,後面依序是建立索引與提供搜尋結果。Google 說網路上沒有一份集中的網頁登記表,所以要靠連結、網站經營者提交的網站地圖和重新造訪已知網頁來發現網址。Googlebot 自己決定要爬哪些網站、多久爬一次、每次爬多少頁,伺服器一出現 5xx 錯誤,它就會放慢速度。

舉例

鞋店新上架一款登山鞋,在分類頁放了連結。Googlebot 先爬到分類頁,從中發現商品網址,才會再去請求商品頁。如果商品頁這時回傳 500 錯誤,就算分類頁已被收錄,Google 也拿不到這次的商品內容。

爬取包含什麼

一次爬取通常有這幾步:

  1. 發現網址:從已知頁面的連結、網站地圖或重新造訪得到。
  2. 排程:發現網址之後不會立刻抓取,由 Google 依網站狀況安排。
  3. 檢查 robots.txt:被規則禁止的網址不會被請求。
  4. 請求與回應:向伺服器要頁面,依狀態碼(200、301、404、5xx)決定後續處理。
  5. 轉譯:Google 爬取時會用較新版本的 Chrome 轉譯頁面並執行 JavaScript,把動態載入的內容也取回。

影響爬取的因素。站內連結是否有可走的路徑、robots.txt 是否擋住、頁面是否需要登入、伺服器的速度與錯誤率、轉址有沒有串成長鏈。網站地圖只是提供線索,不能保證抓取。

為什麼重要

搜尋引擎拿不到頁面內容,後面的收錄與排名都無從談起。新頁要被看見、舊頁更新要被採用,都得先被成功爬取。確認日誌裡有取得新內容的紀錄之後,才有理由往下檢查索引、標準網址或內容品質。

怎麼檢查

  1. 在 Google 搜尋主控台用「網址審查」輸入網址,看「上次檢索」時間與狀態,再按「測試線上網址」確認現在能不能存取。
  2. 打開 robots.txt,確認沒有誤擋重要目錄,並檢查頁面本身沒有被設成要登入才能看。
  3. 到「設定」裡的「檢索統計資料」(Crawl stats)報表,看 Googlebot 每天的請求量、回應碼分布與伺服器回應時間。
  4. 要看某一次實際請求,就查伺服器日誌,先驗證請求真的來自 Googlebot,再看成功與錯誤的比例。

常見誤解

  • 爬取成功就會有排名。

    後面還有建立索引與依查詢挑選結果兩個階段,Google 說不是每個被處理的頁面都會被索引。

  • 提交網站地圖,Google 就會立刻抓取。

    網站地圖只提供發現線索,什麼時候爬由 Google 決定。

常見問題

為什麼 Google 一直沒有爬我的新頁面?

先檢查三件事:站內有沒有連結指向它、robots.txt 有沒有擋、伺服器回應是不是 200。Google 不會爬所有被發現的網址,也不保證馬上爬。Search Console 的網址審查可以看上次檢索時間。

爬取和建立索引有什麼不同?

爬取是把頁面內容取回來,建立索引是分析這些內容並決定要不要收進資料庫。Google 說不是每個被處理的頁面都會被收錄。所以頁面被爬過,不代表一定能在搜尋結果出現。

小網站需要擔心 crawl budget 嗎?

通常不用。Google 的說明主要針對 100 萬個以上網址且每週更新,或 1 萬個以上網址且每天快速更新的網站,並說這只是粗略估計,不是精確門檻。

閱讀更多

AK · AKSEO Labs · 上線