X
    Categories: My_Note

Robots.txt 寫 Crawl-delay 的作用

Robots.txt 有個 Crawl-delay 的設定參數,是要做什麼用的呢?

Robots.txt 寫 Crawl-delay 的作用

Crawl-delay 指令設定值:幾秒(可寫小數,例如:0.1、0.01... 等)

Crawl-delay :等待同伺服器的連續請求,每次要間隔幾秒

範例:

  • User-agent: *
  • Crawl-delay: 10

多個 User-Agent 範例

  • User-Agent: Googlebot
  • User-Agent: Bingbot
  • Crawl-delay: 0.1
  • User-Agent: *
  • Crawl-delay: 1

這些設定值,舉個範例來說:

若網站有 5000頁,若 Crawl-delay 設定 為 30、100 的話,Crawler 需要多久才能爬完?

Crawl-delay: 30

  • 86400/30 = 2880 # 一天可以爬 2880 頁
  • 5000/2880 = 1.74天 # 約 1.74天可以爬完

Crawler-delay: 100

  • 86400/100 = 864 # 一天可以爬 864 頁
  • 5000/864 = 5.8天 # 約 5.8天可以爬完

相關網頁

Tsung: 對新奇的事物都很有興趣, 喜歡簡單的東西, 過簡單的生活.
Related Post