SEO 工具
Robots.txt 產生器
視覺化介面設定爬蟲存取規則，即時預覽 robots.txt 檔案。支援多 User-agent 規則、Sitemap 宣告、Crawl-delay，一鍵複製或下載。
$ 快速預設
# User-Agent 規則
# 常見封鎖路徑
勾選後會自動加入第一組規則的 Disallow 清單
# Sitemap 網址
常見問題
robots.txt 可以阻止 Google 索引我的頁面嗎？
robots.txt 只能阻止爬蟲抓取頁面，但不能阻止索引。如果其他網站連結到你被封鎖的頁面，Google 仍可能索引該 URL（只是沒有內容）。要阻止索引，應使用 meta robots noindex 標籤或 X-Robots-Tag HTTP 標頭。
我應該封鎖 AI 爬蟲嗎？
這取決於你的策略。封鎖 GPTBot、Google-Extended 等 AI 爬蟲可以防止你的內容被用於訓練 AI 模型。但如果你希望出現在 AI 搜尋結果（如 Google AI Overviews）中，可能需要允許某些 AI 爬蟲。本工具提供「封鎖 AI 爬蟲」預設模板。
Crawl-delay 設定有用嗎？
Googlebot 不支援 robots.txt 中的 Crawl-delay 指令。如需控制 Google 的爬取頻率，應使用 Google Search Console 中的「爬取頻率」設定。但 Bingbot 和其他爬蟲會遵守 Crawl-delay。