爬取Crawling
爬取是搜尋引擎的爬蟲沿著連結與網站地圖找到網址,再向伺服器請求並取回網頁內容的步驟。
- 英文
- Crawling
- 台灣常見別名
- 爬取、檢索、網站抓取
- 簡中用語
- 抓取、网页爬取
- 類別
- 技術SEO
- 提出者與年份
- 網路資訊檢索通用術語,無單一提出者
- 官方文件
- Google 搜尋中心:Google 搜尋的運作方式(檢索階段)
爬取是什麼?
爬取是搜尋引擎的爬蟲沿著連結與網站地圖找到網址,再向伺服器請求網頁與相關資源,把內容取回來的步驟。Google 的爬蟲叫 Googlebot,也被稱為 bot 或 spider。
它是 Google 搜尋運作三個階段的第一步,後面依序是建立索引與提供搜尋結果。Google 說網路上沒有一份集中的網頁登記表,所以要靠連結、網站經營者提交的網站地圖和重新造訪已知網頁來發現網址。Googlebot 自己決定要爬哪些網站、多久爬一次、每次爬多少頁,伺服器一出現 5xx 錯誤,它就會放慢速度。
舉例
鞋店新上架一款登山鞋,在分類頁放了連結。Googlebot 先爬到分類頁,從中發現商品網址,才會再去請求商品頁。如果商品頁這時回傳 500 錯誤,就算分類頁已被收錄,Google 也拿不到這次的商品內容。
爬取包含什麼
一次爬取通常有這幾步:
- 發現網址:從已知頁面的連結、網站地圖或重新造訪得到。
- 排程:發現網址之後不會立刻抓取,由 Google 依網站狀況安排。
- 檢查 robots.txt:被規則禁止的網址不會被請求。
- 請求與回應:向伺服器要頁面,依狀態碼(200、301、404、5xx)決定後續處理。
- 轉譯:Google 爬取時會用較新版本的 Chrome 轉譯頁面並執行 JavaScript,把動態載入的內容也取回。
影響爬取的因素。站內連結是否有可走的路徑、robots.txt 是否擋住、頁面是否需要登入、伺服器的速度與錯誤率、轉址有沒有串成長鏈。網站地圖只是提供線索,不能保證抓取。
為什麼重要
搜尋引擎拿不到頁面內容,後面的收錄與排名都無從談起。新頁要被看見、舊頁更新要被採用,都得先被成功爬取。確認日誌裡有取得新內容的紀錄之後,才有理由往下檢查索引、標準網址或內容品質。
怎麼檢查
- 在 Google 搜尋主控台用「網址審查」輸入網址,看「上次檢索」時間與狀態,再按「測試線上網址」確認現在能不能存取。
- 打開 robots.txt,確認沒有誤擋重要目錄,並檢查頁面本身沒有被設成要登入才能看。
- 到「設定」裡的「檢索統計資料」(Crawl stats)報表,看 Googlebot 每天的請求量、回應碼分布與伺服器回應時間。
- 要看某一次實際請求,就查伺服器日誌,先驗證請求真的來自 Googlebot,再看成功與錯誤的比例。
常見誤解
爬取成功就會有排名。
後面還有建立索引與依查詢挑選結果兩個階段,Google 說不是每個被處理的頁面都會被索引。
提交網站地圖,Google 就會立刻抓取。
網站地圖只提供發現線索,什麼時候爬由 Google 決定。
常見問題
為什麼 Google 一直沒有爬我的新頁面?
先檢查三件事:站內有沒有連結指向它、robots.txt 有沒有擋、伺服器回應是不是 200。Google 不會爬所有被發現的網址,也不保證馬上爬。Search Console 的網址審查可以看上次檢索時間。
爬取和建立索引有什麼不同?
爬取是把頁面內容取回來,建立索引是分析這些內容並決定要不要收進資料庫。Google 說不是每個被處理的頁面都會被收錄。所以頁面被爬過,不代表一定能在搜尋結果出現。
小網站需要擔心 crawl budget 嗎?
通常不用。Google 的說明主要針對 100 萬個以上網址且每週更新,或 1 萬個以上網址且每天快速更新的網站,並說這只是粗略估計,不是精確門檻。
閱讀更多
- Google 爬取與索引教學:頁面沒被收錄,問題通常卡在這幾層
長文把探索、爬取和索引放在同一個流程,並說明如何從不同狀態追查卡在哪一段。