Googlebot 的 IP列表 與 驗證方式

Google 要爬各個網站的資料，會需要派出 Crawler (Googlebot) 來爬資料，最後才能搜尋。

但是要怎麼樣才能確認 Bot 真的是 Googlebot 呢？

Googlebot 的 IP列表 與 驗證方式

Googlebot 的 IP 列表可見：Googlebot ip list

Google 官方就有說明驗證方式：

下述摘錄自此篇：Googlebot 和其他 Google 檢索器的身分驗證方式

  • host 66.249.66.1
    • 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
  • host crawl-66-249-66-1.googlebot.com
    • crawl-66-249-66-1.googlebot.com has address 66.249.66.1
  • host 35.247.243.240
    • 240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.
  • host geo-crawl-35-247-243-240.geo.googlebot.com
    • geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

作者: Tsung

對新奇的事物都很有興趣, 喜歡簡單的東西, 過簡單的生活.

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料。