標籤彙整: robots.txt

robots.txt 的白名單設定方式

Google / Bing 等搜尋引擎要爬網站,都會參考 robots.txt … 閱讀全文

分類: My_Note | 標籤: , , , , | 發佈留言

如何寫 robots.txt

哪些網頁不想被搜尋引擎抓到的話~~~ 就要設定 robots.txt.. 參考如 … 閱讀全文

分類: My_Note | 標籤: | 2 則留言