比如下面幾點就對百度蜘蛛講的很透徹也讓人很好理解。

抓取的深度和廣度，錯誤鏈接的抓取，對新站的抓取。

根據(jù)以往觀察幾個新站文章的發(fā)現(xiàn)，百度蜘蛛對一個新站一般會在第一天會瘋狂抓取，然后會沉寂一段時間，而谷歌蜘蛛比較老實，喜歡按部就班一點一點來，越來越多。記得6月15號那天掛上去后不到一小時百度收錄首頁，并且瘋狂抓取5500次，后來第二天就開始在爆發(fā)中沉默，而谷歌在開始時候抓取的很少，慢慢越來越多。經(jīng)常看到很多人網(wǎng)站上線第一天看到百度大量抓取感覺很驚訝，覺得是自己網(wǎng)站權(quán)重高，然后第二天開始，蜘蛛直接來個1800度調(diào)整，每天就稍微來看一下，然后就變得很郁悶，會覺得是百度不喜歡自己的站了，其實并不是這樣，因為這是百度蜘蛛的特點。