robots.txt 產生與測試
產生 robots.txt，並用同一套規則當場測試某個路徑會被允許還是封鎖；可一鍵封鎖常見 AI 爬蟲。
瀏覽器端執行：輸入與輸出不會傳送到伺服器，平台也不會保存你的輸入內容。
輸出
填入左側欄位後按下執行。
使用方法
- 1選擇情境，需要時再補上自訂的 Disallow 與 Allow 路徑。
- 2填入 Sitemap 網址，並用「測試路徑」確認關鍵頁面不會被誤擋。
- 3把結果存成 robots.txt，放在網站根目錄（https://你的網域/robots.txt）。
常見問題
robots.txt 可以拿來隱藏敏感頁面嗎？
不行。它只是給守規矩的爬蟲看的請求，檔案本身還是公開可讀的，等於把你想隱藏的路徑列成清單。真正需要保護的內容請用登入或權限控制。
Disallow 和 noindex 有什麼不同？
Disallow 是不要抓取，noindex 是不要收錄。被 Disallow 的頁面爬蟲讀不到內容，也就讀不到 noindex，反而可能因為外部連結而被以無摘要的形式收錄。要確實不收錄，應該讓爬蟲讀得到頁面並在頁面上放 noindex。
為什麼不要擋 CSS 和 JS？
搜尋引擎會實際渲染頁面來判斷排版與行動裝置友善度。擋掉樣式與腳本，爬蟲看到的是破版的頁面，評分只會更差。
擋掉 AI 爬蟲真的有效嗎？
對有公開宣告並遵守 robots.txt 的爬蟲（GPTBot、ClaudeBot、Google-Extended 等）有效。不遵守的爬蟲不會因為這份檔案而停下來。
我的輸入會上傳嗎？
不會。規則產生與路徑測試都在瀏覽器完成，不需登入也不消耗任何額度。