跳到主要內容

伺服器日誌分析Log File Analysis

伺服器日誌分析是讀取網站伺服器記錄下來的每一筆請求,統計爬蟲實際來過哪些網址、得到什麼回應的分析方法。

英文
Log File Analysis
台灣常見別名
伺服器日誌分析、伺服器紀錄分析、日誌檔分析
簡中用語
日志文件分析、服务器日志分析
類別
技術SEO
提出者與年份
伺服器維運與搜尋觀測的通用做法,最早提出者未查到
官方文件
Google 搜尋中心:驗證 Googlebot 與其他 Google 爬蟲;Search Console 說明:Crawl Stats 報表

伺服器日誌分析是什麼?

每次有人或機器人向你的網站要一個頁面,伺服器都會在日誌檔裡記下一行:誰在什麼時間、要了哪個網址、伺服器回了什麼狀態碼。伺服器日誌分析就是把這些紀錄整理起來看,特別是找出 Googlebot 這類搜尋引擎爬蟲,統計它們實際來過哪些網址、拿到什麼回應。它是檢視爬蟲行為最直接的第一手資料。

它發生在爬取這一步,和排名無關,目的是回答「Google 到底有沒有來抓這一頁,抓了幾次,拿到的是不是正常的頁面」。Search Console 的網址審查只能一次查一個網址,日誌則能一次看到整個網站的爬取全貌。

舉例

電商網站改版後,新的商品頁兩週都沒有被收錄。分析日誌後發現,Googlebot 這兩週大部分請求都花在帶有排序參數的舊網址上,新商品頁只被抓了幾次,而且有一部分回的是 404。接著就能針對這兩個問題去處理,而不是盲目重寫商品頁內容。

伺服器日誌分析包含什麼

一行存取日誌通常包含下列欄位,不同伺服器的格式略有差異:

66.249.66.1 - - [21/Nov/2026:03:14:07 +0800] "GET /blog/seo-guide HTTP/1.1" 200 18342 "-" "Mozilla/5.0 (compatible; Googlebot/2.1)"

來源 IP。發出請求的 IP,用來驗證請求者是不是真的 Googlebot。

時間。請求發生的時間,要留意日誌使用的時區。

請求的網址與方法。上例是用 GET 要 /blog/seo-guide,可以統計哪些目錄被抓得最多。

狀態碼。200 代表正常,301、302 是轉址,404 是找不到,5xx 是伺服器錯誤,用來找爬蟲碰到的問題頁面。

回應大小。可以看出異常小或異常大的頁面。

User-Agent。請求者自稱的身分,例如 Googlebot 或 Bingbot。

為什麼重要

Search Console 的 Crawl Stats 報表只提供彙整統計,Google 也說明它的數字可能和伺服器日誌略有出入,範例網址也只是代表性樣本,不是完整清單。日誌是實際發生過的每一筆請求,能回答報表看不到的問題,例如哪些網址被反覆抓取卻沒有價值、新頁多久之後才被爬蟲發現。

怎麼檢查

  1. 向主機商或工程師取得網站的存取日誌(Apache 或 Nginx 都可以),至少拿最近一到兩週的資料。
  2. 把日誌匯入 Screaming Frog 的 Log File Analyser。它支援 Apache 與 W3C Extended 格式,也能辨識 Googlebot、Bingbot 等爬蟲,免費版限制 1,000 筆事件,付費版沒有筆數上限。
  3. 驗證爬蟲身分:對來源 IP 做反向 DNS 查詢,主機名稱要以 googlebot.com、google.com 或 googleusercontent.com 結尾,再做正向查詢確認會回到原本的 IP,或比對 Google 公布的 IP 範圍檔案。
  4. 依狀態碼篩出 404 與 5xx,並依目錄看 Googlebot 抓取次數最多的區域,確認它沒有把大量請求花在參數網址或舊網址上。
  5. 把被抓取的網址和網站地圖比對,找出沒被抓取的重要頁面。

常見誤解

  • User-Agent 寫著 Googlebot,就是 Google 的爬蟲。

    Google 說明垃圾流量可能偽裝成 Googlebot,只看 User-Agent 不能證明請求是真的,必須用反向 DNS 或 IP 範圍驗證。

  • 有 Search Console 的 Crawl Stats,就不用看日誌。

    Crawl Stats 只提供彙整統計,只提供根層級資源的資料,並說明數字可能與伺服器日誌略有不同。需要逐筆請求時,仍要看日誌。

常見問題

小網站需要做伺服器日誌分析嗎?

通常不需要。Google 對 Crawl Stats 報表的說明是,頁數少於 1,000 的網站通常用不到這麼細的爬取資料。網站頁數很多、更新頻繁,或改版後新頁遲遲沒被收錄時,日誌分析才有明顯價值。

拿不到伺服器日誌怎麼辦?

很多虛擬主機的管理介面可以下載原始存取日誌,沒有的話向主機商或工程師索取。暫時拿不到時,可以先看 Search Console 的 Crawl Stats 報表,它提供爬取請求數、回應狀態碼與檔案類型的統計。

網站有 CDN,日誌看起來少了很多請求,正常嗎?

正常。被 CDN 直接回應的請求不會到達原始伺服器,所以原始伺服器的日誌會比實際請求少。要完整分析就要取得 CDN 的日誌,或同時比對兩邊的資料。

怎麼確認日誌裡的 Googlebot 是真的?

不能只看 User-Agent,因為它可以被偽造。Google 的做法是對日誌中的 IP 做反向 DNS 查詢,確認網域是 googlebot.com 或 google.com,再正向查詢是否回到同一個 IP,也可以比對 Google 公開的 IP 範圍檔。

閱讀更多

AK · AKSEO Labs · 上線