標籤彙整:robots.txt

robots.txt 的白名單設定方式

Google / Bing 等搜尋引擎要爬網站,都會參考 robots.txt … 繼續閱讀

發表於 My_Note | 已標籤 , , , , | 發表迴響

如何寫 robots.txt

哪些網頁不想被搜尋引擎抓到的話~~~ 就要設定 robots.txt.. 參考如 … 繼續閱讀

發表於 My_Note | 已標籤 | 2 則迴響