X

PHP 於 Header 送 noindex 給 Crawler bot

某些頁面不想要讓 Search engine (Google、Bing) 的 crawler bot 爬,有幾種方法可以使用:

  1. HTML Meta Tag
  2. 使用 robots.txt
  3. 於 HTTP Header 送 X-Robots-Tag

此篇主要紀錄 HTTP Header 的作法

PHP 於 Header 送 noindex 給 Crawler bot

下述三種作法,簡單紀錄些作法與連結

  1. HTML Meta Tag 下述取其一
    • <meta name="robots" content="noindex">
    • <meta name="googlebot" content="noindex">
    • <meta name="googlebot-news" content="noindex">
  2. 使用 robots.txtRobots.txt
  3. 於 HTTP Header 送 X-Robots-Tag

下述針對 HTTP Header 送 X-Robots-Tag 的作法

於 PHP 送 noindex 給 X-Robots-Tag 的作法

  • 下述選其一即可
    • header('X-Robots-Tag: noindex');
    • header('X-Robots-Tag: noindex, nofollow');

相關網頁

Tsung: 對新奇的事物都很有興趣, 喜歡簡單的東西, 過簡單的生活.
Related Post