如何降低 Googlebot 爬取速度(頻率)

Googlebot 來爬得太兇,要如何請他降速?

如何降低 Googlebot 爬取速度(頻率)

要降低 Googlebot 爬取速度,官方說明有兩種做法:

  1. Search Console 變更 Googlebot 的檢索頻率
  2. 回傳 500、503、429 其一的 HTTP 狀態碼,不要回傳網頁內容。取自:降低 Googlebot 檢索頻率
    • Don't use 401 and 403 status codes for limiting the crawl rate.
    • The 4xx status codes, except 429, have no effect on crawl rate.
    • Learn how to limit your crawl rate.

作者: Tsung

對新奇的事物都很有興趣, 喜歡簡單的東西, 過簡單的生活.

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料