如何降低 Googlebot 爬取速度(頻率)

Googlebot 來爬得太兇，要如何請他降速？

如何降低 Googlebot 爬取速度(頻率)

要降低 Googlebot 爬取速度，官方說明有兩種做法：

  1. 於 Search Console 變更 Googlebot 的檢索頻率
  2. 回傳 500、503、429 其一的 HTTP 狀態碼，不要回傳網頁內容。取自：降低 Googlebot 檢索頻率
    • Don't use 401 and 403 status codes for limiting the crawl rate.
    • The 4xx status codes, except 429, have no effect on crawl rate.
    • Learn how to limit your crawl rate.
  3. 注意：請不要使用 401 和 403 狀態碼來限制檢索頻率。除了 429 之外，其餘 4xx 狀態碼都不會對檢索頻率產生影響。取自：HTTP 狀態碼、網路和 DNS 錯誤，以及 Google 搜尋

作者: Tsung

對新奇的事物都很有興趣, 喜歡簡單的東西, 過簡單的生活.

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。