無名網路營銷 - 5月份
這個 Blog 看起來是到 10月就沒有再更新了..
不過他對搜尋引擎了解的也非常的深入..
光看 5月的文章就跟在挖寶一樣~~ 還有些分析 Log 的程式~~ 好好拜讀一下吧~ 🙂
以下轉載自: 無名網路營銷 - 5月份
- 其他網站設計提示
分析網站被搜尋引擎索引的情況
#!/bin/sh
YESTERDAY=`date -d yesterday +%Y%m%d`
# for FreeBSD: YESTERDAY=`date -v-1d +%Y%m%d`
LOG_FILE='/home/apache/logs/access_log'
grep -i Googlebot $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort | uniq -c | sort -rn > spider/$YESTERDAY.googlebot.txt
grep -i baiduspider $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort | uniq -c | sort -rn > spider/$YESTERDAY.baiduspider.txt
grep -i msnbot $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort | uniq -c | sort -rn > spider/$YESTERDAY.msnbot.txt
grep -i inktomi $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort | uniq -c | sort -rn > spider/$YESTERDAY.inktomi.txt
grep -i openbot $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort |uniq -c | sort -rn > spider/$YESTERDAY.openbot.txt
grep -i Slurp $LOG_FILE.$YESTERDAY|awk '{print $7}' |sort |uniq -c | sort -rn > spider/$YESTERDAY.yahoo.txt
由這隻程式就可以知道 搜尋引擎的 bot 來你的網站抓走哪些資料.
抓了幾次.. 等等的資訊.