robots.txt 的文字檔裡面,可以設定哪些可以爬、哪些不要爬,大多數的搜尋引擎爬蟲都會遵守這個規範。
robots.txt 起源:Martijn Koster 在 1994年 建立 REP 的初期標準,再加上其它網站管理員的補充後,REP 已經成為產業標準,但是還沒成為官方的網路標準。
- robots.txt RFC:A Method for Web Robots Control
個人筆記, 記錄關於 系統、程式、新聞 與 日常生活 等資訊
robots.txt 的文字檔裡面,可以設定哪些可以爬、哪些不要爬,大多數的搜尋引擎爬蟲都會遵守這個規範。
robots.txt 起源:Martijn Koster 在 1994年 建立 REP 的初期標準,再加上其它網站管理員的補充後,REP 已經成為產業標準,但是還沒成為官方的網路標準。
在串接資料的時候,常常會看到 2018-06-03T08:02:20+08:00 之類的,這些日期格式大多都是有公開標準的,PHP 裡面有將大多數的標準都設定好可以直接使用囉~
URL Encode 有分 rawurlencode() 與 urlencode() 這兩種,兩者有什麼差異呢?
HTTP/1.1 (HTTP 1.1) 於 1999年更新後,就沒有再有新的動靜。
於 Google SPDY 發表後,總算引發 HTTP 再次重新討論、設計,最近 HTTP/2 (HTTP 2.0) 草稿定案囉~
要幫你的電腦(或 Server)選個吉利的好名字~ 有 RFC 的文件可以參考~