伺服器日誌分析Log File Analysis
伺服器日誌分析是讀取網站伺服器記錄下來的每一筆請求,統計爬蟲實際來過哪些網址、得到什麼回應的分析方法。
- 英文
- Log File Analysis
- 台灣常見別名
- 伺服器日誌分析、伺服器紀錄分析、日誌檔分析
- 簡中用語
- 日志文件分析、服务器日志分析
- 類別
- 技術SEO
- 提出者與年份
- 伺服器維運與搜尋觀測的通用做法,最早提出者未查到
- 官方文件
- Google 搜尋中心:驗證 Googlebot 與其他 Google 爬蟲;Search Console 說明:Crawl Stats 報表
伺服器日誌分析是什麼?
每次有人或機器人向你的網站要一個頁面,伺服器都會在日誌檔裡記下一行:誰在什麼時間、要了哪個網址、伺服器回了什麼狀態碼。伺服器日誌分析就是把這些紀錄整理起來看,特別是找出 Googlebot 這類搜尋引擎爬蟲,統計它們實際來過哪些網址、拿到什麼回應。它是檢視爬蟲行為最直接的第一手資料。
它發生在爬取這一步,和排名無關,目的是回答「Google 到底有沒有來抓這一頁,抓了幾次,拿到的是不是正常的頁面」。Search Console 的網址審查只能一次查一個網址,日誌則能一次看到整個網站的爬取全貌。
舉例
電商網站改版後,新的商品頁兩週都沒有被收錄。分析日誌後發現,Googlebot 這兩週大部分請求都花在帶有排序參數的舊網址上,新商品頁只被抓了幾次,而且有一部分回的是 404。接著就能針對這兩個問題去處理,而不是盲目重寫商品頁內容。
伺服器日誌分析包含什麼
一行存取日誌通常包含下列欄位,不同伺服器的格式略有差異:
66.249.66.1 - - [21/Nov/2026:03:14:07 +0800] "GET /blog/seo-guide HTTP/1.1" 200 18342 "-" "Mozilla/5.0 (compatible; Googlebot/2.1)"
來源 IP。發出請求的 IP,用來驗證請求者是不是真的 Googlebot。
時間。請求發生的時間,要留意日誌使用的時區。
請求的網址與方法。上例是用 GET 要 /blog/seo-guide,可以統計哪些目錄被抓得最多。
狀態碼。200 代表正常,301、302 是轉址,404 是找不到,5xx 是伺服器錯誤,用來找爬蟲碰到的問題頁面。
回應大小。可以看出異常小或異常大的頁面。
User-Agent。請求者自稱的身分,例如 Googlebot 或 Bingbot。
為什麼重要
Search Console 的 Crawl Stats 報表只提供彙整統計,Google 也說明它的數字可能和伺服器日誌略有出入,範例網址也只是代表性樣本,不是完整清單。日誌是實際發生過的每一筆請求,能回答報表看不到的問題,例如哪些網址被反覆抓取卻沒有價值、新頁多久之後才被爬蟲發現。
怎麼檢查
- 向主機商或工程師取得網站的存取日誌(Apache 或 Nginx 都可以),至少拿最近一到兩週的資料。
- 把日誌匯入 Screaming Frog 的 Log File Analyser。它支援 Apache 與 W3C Extended 格式,也能辨識 Googlebot、Bingbot 等爬蟲,免費版限制 1,000 筆事件,付費版沒有筆數上限。
- 驗證爬蟲身分:對來源 IP 做反向 DNS 查詢,主機名稱要以 googlebot.com、google.com 或 googleusercontent.com 結尾,再做正向查詢確認會回到原本的 IP,或比對 Google 公布的 IP 範圍檔案。
- 依狀態碼篩出 404 與 5xx,並依目錄看 Googlebot 抓取次數最多的區域,確認它沒有把大量請求花在參數網址或舊網址上。
- 把被抓取的網址和網站地圖比對,找出沒被抓取的重要頁面。
常見誤解
User-Agent 寫著 Googlebot,就是 Google 的爬蟲。
Google 說明垃圾流量可能偽裝成 Googlebot,只看 User-Agent 不能證明請求是真的,必須用反向 DNS 或 IP 範圍驗證。
有 Search Console 的 Crawl Stats,就不用看日誌。
Crawl Stats 只提供彙整統計,只提供根層級資源的資料,並說明數字可能與伺服器日誌略有不同。需要逐筆請求時,仍要看日誌。
常見問題
小網站需要做伺服器日誌分析嗎?
通常不需要。Google 對 Crawl Stats 報表的說明是,頁數少於 1,000 的網站通常用不到這麼細的爬取資料。網站頁數很多、更新頻繁,或改版後新頁遲遲沒被收錄時,日誌分析才有明顯價值。
拿不到伺服器日誌怎麼辦?
很多虛擬主機的管理介面可以下載原始存取日誌,沒有的話向主機商或工程師索取。暫時拿不到時,可以先看 Search Console 的 Crawl Stats 報表,它提供爬取請求數、回應狀態碼與檔案類型的統計。
網站有 CDN,日誌看起來少了很多請求,正常嗎?
正常。被 CDN 直接回應的請求不會到達原始伺服器,所以原始伺服器的日誌會比實際請求少。要完整分析就要取得 CDN 的日誌,或同時比對兩邊的資料。
怎麼確認日誌裡的 Googlebot 是真的?
不能只看 User-Agent,因為它可以被偽造。Google 的做法是對日誌中的 IP 做反向 DNS 查詢,確認網域是 googlebot.com 或 google.com,再正向查詢是否回到同一個 IP,也可以比對 Google 公開的 IP 範圍檔。
閱讀更多
- 伺服器日誌分析 SEO:從 Googlebot 請求紀錄找出爬取浪費
長文另外說明如何取得記錄、篩欄位與依狀態、路徑分析爬蟲。