robots.txt 的白名單設定方式

Google / Bing 等搜尋引擎要爬網站,都會參考 robots.txt 有什麼規定。

那想要設定指允許一個網址,剩下的全部擋掉(白名單),這種規則若 robots.txt 有順序性的話,設定起來就會方便許多。

閱讀全文〈robots.txt 的白名單設定方式〉