Googlebot 來爬得太兇,要如何請他降速?
如何降低 Googlebot 爬取速度(頻率)
要降低 Googlebot 爬取速度,官方說明有兩種做法:
- 於 Search Console 變更 Googlebot 的檢索頻率
- 回傳 500、503、429 其一的 HTTP 狀態碼,不要回傳網頁內容。取自:降低 Googlebot 檢索頻率
- Don't use 401 and 403 status codes for limiting the crawl rate.
- The 4xx status codes, except 429, have no effect on crawl rate.
- Learn how to limit your crawl rate.