Google 要爬各個網站的資料，會需要派出 Crawler (Googlebot) 來爬資料，最後才能搜尋。
但是要怎麼樣才能確認 Bot 真的是 Googlebot 呢？
標籤: googlebot
Google 與 Googlebot 是如何看待 HTTP status code
Google / Googlebot 並不是所有 HTTP 的狀態都會處理的，這個表有列出他處理哪些狀態，分別是怎麼處理方式：
- How HTTP status codes, and network and DNS errors affect Google Search
- We cover the top 20 status codes that Googlebot encountered on the web, and the most prominent network and DNS errors.
- Googlebot 在網路上最常遇到的 20 種狀態碼，以及最為常見的網路錯誤和 DNS 錯誤。較為罕見的狀態碼 (例如 418 (I'm a teapot))
- 裡面特別提到 418 是不支援的，418 是什麼？可以參考此篇：HTTP Status Code 418：teapot 茶壺
如何降低 Googlebot 爬取速度(頻率)
Googlebot 來爬得太兇，要如何請他降速？
Googlebot 將使用新版 Chromium 引擎來執行 JavaScript
Googlebot 以前都使用 Chrome 41.0 的引擎來 Rendering (解析) JavaScript，預計要更新成 Chromium 最新的版本 (74.0+)。
由 access.log 可以看到下述：
"Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
不過，雖然宣佈了，目前暫時還沒看到新版的 Bot 來的跡象~