如何降低 Googlebot 爬取速度(頻率)

Googlebot 來爬得太兇，要如何請他降速？

如何降低 Googlebot 爬取速度(頻率)

要降低 Googlebot 爬取速度，官方說明有兩種做法：

1. 於 Search Console 變更 Googlebot 的檢索頻率
2. 回傳 500、503、429 其一的 HTTP 狀態碼，不要回傳網頁內容。取自：降低 Googlebot 檢索頻率
   • Don't use 401 and 403 status codes for limiting the crawl rate.
   • The 4xx status codes, except 429, have no effect on crawl rate.
   • Learn how to limit your crawl rate.
3. 注意：請不要使用 401 和 403 狀態碼來限制檢索頻率。除了 429 之外，其餘 4xx 狀態碼都不會對檢索頻率產生影響。取自：HTTP 狀態碼、網路和 DNS 錯誤，以及 Google 搜尋