SEO 工具
Robots.txt 產生器
用視覺化介面設定 User-agent、Sitemap 與 Crawl-delay 規則，即時預覽並複製或下載 robots.txt。
AI 爬蟲政策
快速預設
User-Agent 規則
常見封鎖路徑
勾選後會自動加入第一組規則的 Disallow 清單
Sitemap 網址
這工具解決什麼
這工具幫你在瀏覽器裡視覺化組出一份語法正確的 robots.txt，不必手寫也不必背指令。你勾選要開放或封鎖的路徑、選一個 AI 爬蟲政策、填入 Sitemap 網址，右側就即時產生可直接複製或下載的檔案，並在你踩到常見錯誤時跳出黃色警告。所有運算都在你的瀏覽器本機完成，不會上傳任何資料。
結果怎麼判讀
右側預覽就是實際要放到網站根目錄的內容，逐行對照即可。
- ›User-agent：指定這組規則套用在哪個爬蟲，* 代表所有爬蟲。
- ›Disallow：指定爬蟲不抓取的路徑；沒有任何 Disallow 就代表全站開放。
- ›Allow：在被封鎖的目錄中，額外開放特定路徑。
- ›Sitemap：完整網址，幫搜尋引擎更快發現頁面。還沒有 sitemap 的話，可用我們的 Sitemap 產生器 先產出 sitemap.xml。
- ›黃色警告：提醒你可能誤封全站或規則衝突，出現時請先確認再上線。
常見錯誤
多數 robots.txt 災情來自三個誤解。
- ›將 Disallow: / 放在 User-agent: * 下，會讓所有搜尋引擎停止抓取整站；上線前請確認這是否符合頁面開放範圍。
- ›想用 robots 擋索引其實擋不了：robots.txt 只擋抓取，不擋索引。要真正不被收錄，請改用 meta robots noindex 或 X-Robots-Tag。
- ›封掉 CSS/JS 害渲染：擋掉樣式與腳本會讓 Google 看到殘缺的頁面，連帶影響排名。想檢查頁面是否有被藏起來或被擋掉的內容，可用 隱藏內容偵測器 交叉驗證。
AKSEO Labs 自己怎麼選
我們選擇全開放：對所有列出的 AI 爬蟲都給 Allow: /。理由是降低 AI 取得我們內容的成本，讓文章更容易被 AI 引用與回答。對一個內容站來說，被 AI 引用就是新的曝光管道，想理解這個邏輯可以看 什麼是 AI SEO：AI 時代的內容曝光邏輯。
同一份 robots.txt 會因內容、商業模式與 AI 露出目標而不同，以下用三種常見情境協助你選擇：
- ›全開放：靠 AI 引用與搜尋曝光帶流量的內容站、部落格與工具站。
- ›只允許搜尋：擔心內容被拿去訓練模型，但仍想要 AI 搜尋流量的品牌。
- ›全封鎖 AI：有付費牆、會員專屬或高度原創資產，想完整保留內容的站。
常見問題
robots.txt 可以阻止 Google 索引我的頁面嗎？
robots.txt 用來控制爬蟲抓取；索引狀態則使用 meta robots noindex 標籤或 X-Robots-Tag HTTP 標頭管理。若其他網站連結到被封鎖的頁面，Google 仍可能發現該 URL。
我應該封鎖 AI 爬蟲嗎？
AI 爬蟲設定取決於你的內容價值、商業模式與 AI 露出目標。封鎖 GPTBot、Google-Extended 等爬蟲可控制訓練用途；若希望出現在 AI 搜尋結果（如 Google AI Overviews）中，則要保留相應的搜尋型爬蟲通行。本工具提供「封鎖 AI 爬蟲」預設模板。
Crawl-delay 設定有用嗎？
Googlebot 不支援 robots.txt 中的 Crawl-delay 指令。如需控制 Google 的爬取頻率，應使用 Google Search Console 中的「爬取頻率」設定。但 Bingbot 和其他爬蟲會遵守 Crawl-delay。
搜尋型 AI 爬蟲和訓練型 AI 爬蟲差在哪？
搜尋型 AI 爬蟲（如 OAI-SearchBot、Claude-SearchBot、PerplexityBot）抓取內容是為了即時回答使用者問題並附上來源連結，通常會帶來曝光與流量；訓練型 AI 爬蟲（如 GPTBot、ClaudeBot、CCBot、Google-Extended）抓取內容是為了訓練模型，一般不會回連你的網站。若你想要 AI 搜尋流量、又不想被拿去訓練，可用本工具的「只允許搜尋引用，不允許訓練」情境，一鍵放行搜尋型、封鎖訓練型。
Google-Extended 和 Googlebot 有什麼不同？
Googlebot 是 Google 一般搜尋的爬蟲，保留它才能讓頁面持續參與一般搜尋；Google-Extended 控制內容是否用於訓練 Gemini 等 Google AI 模型。若要保留 Google 搜尋、同時管理 AI 訓練用途，可只封鎖 Google-Extended，保留 Googlebot。
案例與價格範圍
想看案例、合作方式與價格範圍？
留下 Email，我會寄出案例（含 Ahrefs 資料）、合作方式與價格範圍；看完再決定是否回覆。
十年 SEO 實戰 · Threads 公開研究 · 隱私權政策