某些頁面不想要讓 Search engine (Google、Bing) 的 crawler bot 爬，有幾種方法可以使用：
- HTML Meta Tag
- 使用 robots.txt
- 於 HTTP Header 送 X-Robots-Tag
此篇主要紀錄 HTTP Header 的作法
PHP 於 Header 送 noindex 給 Crawler bot
下述三種作法，簡單紀錄些作法與連結
- HTML Meta Tag 下述取其一
- <meta name="robots" content="noindex">
- <meta name="googlebot" content="noindex">
- <meta name="googlebot-news" content="noindex">
- 使用 robots.txt、Robots.txt
- 於 HTTP Header 送 X-Robots-Tag
下述針對 HTTP Header 送 X-Robots-Tag 的作法
- 使用「noindex」禁止 Google 搜尋建立索引
- HTTP/1.1 200 OK
- X-Robots-Tag: noindex
- 漫遊器中繼標記、data-nosnippet 和 X-Robots-Tag 規格
- X-Robots-Tag: googlebot: nofollow
- X-Robots-Tag: otherbot: noindex, nofollow
於 PHP 送 noindex 給 X-Robots-Tag 的作法
- 下述選其一即可
- header('X-Robots-Tag: noindex');
- header('X-Robots-Tag: noindex, nofollow');