某些頁面不想要讓 Search engine (Google、Bing) 的 crawler bot 爬，有幾種方法可以使用：
- HTML Meta Tag
- 使用 robots.txt
- 於 HTTP Header 送 X-Robots-Tag
此篇主要紀錄 HTTP Header 的作法
閱讀全文〈PHP 於 Header 送 noindex 給 Crawler bot〉
標籤: bot
Google 開源 robots.txt 解析器 並推 REP 為正式標準
robots.txt 的文字檔裡面，可以設定哪些可以爬、哪些不要爬，大多數的搜尋引擎爬蟲都會遵守這個規範。
robots.txt 起源：Martijn Koster 在 1994年 建立 REP 的初期標準，再加上其它網站管理員的補充後，REP 已經成為產業標準，但是還沒成為官方的網路標準。
- robots.txt RFC：A Method for Web Robots Control