PHP 於 Header 送 noindex 給 Crawler bot

某些頁面不想要讓 Search engine (Google、Bing) 的 crawler bot 爬，有幾種方法可以使用：

1. HTML Meta Tag
2. 使用 robots.txt
3. 於 HTTP Header 送 X-Robots-Tag

此篇主要紀錄 HTTP Header 的作法

PHP 於 Header 送 noindex 給 Crawler bot

下述三種作法，簡單紀錄些作法與連結

1. HTML Meta Tag 下述取其一
   • <meta name="robots" content="noindex">
   • <meta name="googlebot" content="noindex">
   • <meta name="googlebot-news" content="noindex">
2. 使用 robots.txt、Robots.txt
3. 於 HTTP Header 送 X-Robots-Tag

下述針對 HTTP Header 送 X-Robots-Tag 的作法

• 使用「noindex」禁止 Google 搜尋建立索引
  • HTTP/1.1 200 OK
  • X-Robots-Tag: noindex
• 漫遊器中繼標記、data-nosnippet 和 X-Robots-Tag 規格
  • X-Robots-Tag: googlebot: nofollow
  • X-Robots-Tag: otherbot: noindex, nofollow

於 PHP 送 noindex 給 X-Robots-Tag 的作法

• 下述選其一即可
  • header('X-Robots-Tag: noindex');
  • header('X-Robots-Tag: noindex, nofollow');

相關網頁

• X-Robots-Tag HTTP header examples - Yoast