Googlebot 來爬得太兇，要如何請他降速？
如何降低 Googlebot 爬取速度(頻率)
要降低 Googlebot 爬取速度，官方說明有兩種做法：
- 於 Search Console 變更 Googlebot 的檢索頻率
- 回傳 500、503、429 其一的 HTTP 狀態碼，不要回傳網頁內容。取自：降低 Googlebot 檢索頻率
- Don't use 401 and 403 status codes for limiting the crawl rate.
- The 4xx status codes, except 429, have no effect on crawl rate.
- Learn how to limit your crawl rate.