The Unofficial Google Weblog
此站記錄的 Google 有什麼新鮮事.. 有點就像是 Google Blog. 🙂
搜索引擎中網路爬蟲的設計分析
研究 bot 是怎麼跑的.. 作者本身還有提供 Source Code 可以參考 🙂
這是一個針對 Googlebot 的專訪..
Interviews with Googlebot
以下轉載自: Googlebot 的訪談 Interviews with Googlebot
覺得這樣的對話很有趣，實際上並不能幫助我們理解網路爬蟲，不過簡單的開心閱讀也不錯。我將之翻譯如下：
Q: 你剛才完成了一個深入的爬行，你感覺怎麼樣？
A: 給我來杯猛烈的飲料，或者雙倍！
Q: 你發現了任何有意思的東西麼？
A: 現在還不清楚。
Q: 你爬了多少網頁？
A: 像McDonald's(麥當勞)說的，成千上萬。或者像Carl Sagan（美國著名的物理學家）說的，無所謂。
Q: 喝了幾杯啤酒後，在你完成了一個深爬(deep crawl)後第一件事情是什麼？
A: 我要洗個澡，我感覺很..很污穢。
Q: 什麼是你工作最糟糕的部分？
A: Blogs，這點毫無疑問。那些糟糕的 blogrolls 進入你的腦袋直到你暈倒。那些糟糕的東西還試圖幽默，天啊，想想這到底是怎麼回事。
Q: 你怎麼看待你被叫做網路蜘蛛 (spider )？
A: 這世界上沒有什麼蜘蛛能夠向我跑的這麼快。
Q: 你在爬行中間做什麼呢？
A: 密謀Tim Berners-Lee（WWW的創始人）的死亡。
Q: 謝謝你接受這次採訪。
A: 你只吸引了我1% 的注意力，不客氣。
原文：
Q: You just finished a deep crawl. How do you feel?
A: I need a stiff drink. Or two.
Q: Did you find anything interesting out there?
A: It’s all a blur.
Q: How many pages did you hit?
A: Like McDonald’s says, billions and billions. Or was that Carl Sagan? Whatever.
Q: After tossing back a few beers, what’s the first thing you do after a deep crawl?
A: Take a shower. I feel so … so violated.
Q: What’s the worst part of your job?
A: Blogs, no question. Those damn blogrolls get into your head until you’re dreaming about them. And the lame attempts at humor … God, people, get a clue.
Q: How do you feel about being called a spider?
A: There’s not a damn spider on earth that can move as fast as I do.
Q: What do you do between crawls?
A: Plot the death of Tim Berners-Lee.
Q: Thank you for your time.
A: You received one percent of my attention. Don’t mention it.
