Google 要爬各個網站的資料,會需要派出 Crawler (Googlebot) 來爬資料,最後才能搜尋。
但是要怎麼樣才能確認 Bot 真的是 Googlebot 呢?
Googlebot 的 IP列表 與 驗證方式
Googlebot 的 IP 列表可見:Googlebot ip list
Google 官方就有說明驗證方式:
下述摘錄自此篇:Googlebot 和其他 Google 檢索器的身分驗證方式
- host 66.249.66.1
- 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
- host crawl-66-249-66-1.googlebot.com
- crawl-66-249-66-1.googlebot.com has address 66.249.66.1
- host 35.247.243.240
- 240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
- host geo-crawl-35-247-243-240.geo.googlebot.com
- geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240