標籤: robots.txt

Google 開源 robots.txt 解析器 並推 REP 為正式標準

robots.txt 的文字檔裡面，可以設定哪些可以爬、哪些不要爬，大多數的搜尋引擎爬蟲都會遵守這個規範。

robots.txt 起源：Martijn Koster 在 1994年 建立 REP 的初期標準，再加上其它網站管理員的補充後，REP 已經成為產業標準，但是還沒成為官方的網路標準。

閱讀全文〈Google 開源 robots.txt 解析器 並推 REP 為正式標準〉

robots.txt 的白名單設定方式

Google / Bing 等搜尋引擎要爬網站，都會參考 robots.txt 有什麼規定。

那想要設定指允許一個網址，剩下的全部擋掉(白名單)，這種規則若 robots.txt 有順序性的話，設定起來就會方便許多。

閱讀全文〈robots.txt 的白名單設定方式〉