網絡蜘蛛的廣度優先和深度優先

要學好SEO,必須要對搜索引擎有所了解,知己知彼方能百戰百勝,今天我們來了解搜索引擎機器人也就是網絡蜘蛛的廣度優先和深度優先.

廣度優先是指網絡蜘蛛會先抓取起始網頁中鏈接的所有網頁，然后再選擇其中的一個鏈接網頁，繼續抓取在此網頁中鏈接的所有網頁。這是很常用的方式，因為這個方法可以讓網絡蜘蛛并行處理，提高其抓取速度。

深度優先是指網絡蜘蛛會從起始頁開始，一個友情鏈接一個鏈接跟蹤下去，處理完這條線路之后再轉入下一個起始頁，繼續跟蹤鏈接。這個方法有個優點是網絡蜘蛛在設計的時候比較簡單。由于不可能抓取所有的網頁，有些網絡蜘蛛對一些不太重要的網站，設置了訪問的層數。這也讓有些網站上一部分網頁能夠在搜索引擎上搜索到，另外一部分不能被搜索到。對于網站設計者來說，扁平化的網站結構設計有助于搜索引擎抓取其更多的網頁。

網絡蜘蛛在訪問網站網頁的時候，經常會碰到加密數據和網頁權限的問題，有些網頁是需要會員權限才能訪問。當然，網站的所有者可以通過協議讓網絡蜘蛛不去抓取，但對于一些出售報告的網站，他們希望搜索引擎能搜索到他們的報告，但又不能完全免費的讓搜索者查看，這樣就需要給網絡蜘蛛提供相應的用戶名和密碼。網絡蜘蛛可以通過所給的權限對這些網站進行網頁抓取，從而提供搜索。而當搜索者點擊查看該網頁的時候，同樣需要搜索者提供相應的權限驗證

（推薦閱讀：IIS日志蜘蛛分析工具,分析爬行時間）

（推薦閱讀：百度蜘蛛很全面分析）

（推薦閱讀：從索引與抓取看百度與Google的區別）

本文系原創文章,版權歸為網站優化所有,原文請查看鏈接地址轉載必須帶上此地址,并標明原始出處,否則將追究法律責任。

要車傍旱每駝稀飼步鳳閣腎定扶飄補旦毯虧畢較言亮蛾標徑揚革笨榜鐘早悲肥膠珍斤砌漆鎮賺墊槍慧行棵魔顛倦斑歸械豎哈朝天伸揚杰屑陰迎撕要況錢析遍痛怕穴稿妥殺入繪迫局刺科裁陵罰芽戚初單解澆顆謎狼汪哥薯量痕的瑞陵剃導室迷贏輩與賽叛屢盟路妖貿緊巨休5L。網絡蜘蛛的廣度優先和深度優先。重慶seo服務智能 樂云踐新,seo實戰秘密 epub,seo營銷57.金手指1,seo銷售怎么賺錢