某些頁面不想要讓 Search engine (Google、Bing) 的 crawler bot 爬,有幾種方法可以使用:
- HTML Meta Tag
- 使用 robots.txt
- 於 HTTP Header 送 X-Robots-Tag
此篇主要紀錄 HTTP Header 的作法
個人筆記, 記錄關於 系統、程式、新聞 與 日常生活 等資訊
某些頁面不想要讓 Search engine (Google、Bing) 的 crawler bot 爬,有幾種方法可以使用:
此篇主要紀錄 HTTP Header 的作法