標籤彙整: crawler

Google 開源 robots.txt 解析器 並推 REP 為正式標準

robots.txt 的文字檔裡面,可以設定哪些可以爬、哪些不要爬,大多數的搜尋 … 閱讀全文

分類: News | 標籤: , , , , , , , | 發佈留言