Robots.txt 有個 Crawl-delay 的設定參數，是要做什麼用的呢？
Robots.txt 寫 Crawl-delay 的作用
Crawl-delay 指令設定值：幾秒(可寫小數，例如：0.1、0.01... 等)
Crawl-delay ：等待同伺服器的連續請求，每次要間隔幾秒
範例：
- User-agent: *
- Crawl-delay: 10
多個 User-Agent 範例
- User-Agent: Googlebot
- User-Agent: Bingbot
- Crawl-delay: 0.1
- User-Agent: *
- Crawl-delay: 1
這些設定值，舉個範例來說：
若網站有 5000頁，若 Crawl-delay 設定 為 30、100 的話，Crawler 需要多久才能爬完？
Crawl-delay: 30
- 86400/30 = 2880 # 一天可以爬 2880 頁
- 5000/2880 = 1.74天 # 約 1.74天可以爬完
Crawler-delay: 100
- 86400/100 = 864 # 一天可以爬 864 頁
- 5000/864 = 5.8天 # 約 5.8天可以爬完