Google / Bing 等搜尋引擎要爬網站,都會參考 robots.txt 有什麼規定。
那想要設定指允許一個網址,剩下的全部擋掉(白名單),這種規則若 robots.txt 有順序性的話,設定起來就會方便許多。
個人筆記, 記錄關於 系統、程式、新聞 與 日常生活 等資訊
Google / Bing 等搜尋引擎要爬網站,都會參考 robots.txt 有什麼規定。
那想要設定指允許一個網址,剩下的全部擋掉(白名單),這種規則若 robots.txt 有順序性的話,設定起來就會方便許多。