返回頂部
關閉軟件導航
位置:首頁 > 技術分享 > SEO優化>網站優化使用robots巧妙避免蜘蛛黑洞

對于百度搜索引擎來說,蜘蛛黑洞特指網站通過極低的成本制造出大量參數過多、內容類同但url不同的動態URL,就像一個無限循環的“黑洞“,將spider困住。spider浪費了大量資源抓取的卻是無效網頁。

如很多網站都有篩選功能,通過篩選功能產生的網頁經常會被搜索引擎大量抓取,而這其中很大一部分是檢索價值低質的頁面。如“500-1000之間價格的租房”,首先網站(包括現實中)上基本沒有相關資源,其次站內用戶和搜索引擎用戶都沒有這種檢索習慣。這種網頁被搜索引擎大量抓取,只能是占用網站寶貴的抓取配額,那么該如何避免這種情況呢?

我們以北京美團網為例,看看美團網是如何利用robots巧妙避免這種蜘蛛黑洞的:對于普通的篩選結果頁,使用了靜態鏈接,如:

bj.meituan.com/category/zizhucan/weigongcun同樣是條件篩選結果頁,當用戶選擇不同排序條件后,會生成帶有不同參數的動態鏈接,而且即使是同一種排序條件(如:都是按銷量降序排列),生成的參數也都是不同的。如:

網站優化使用robots巧妙避免蜘蛛黑洞

bj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhekbj.meituan.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

對于美團網來說,只讓搜索引擎抓取篩選結果頁就可以了,而各種帶參數的結果排序頁面則通過robots規則拒絕提供給搜索引擎。在robots.txt的文件用法中有這樣一條規則:Disallow:/?,即禁止搜索引擎訪問網站中所有的動態頁面。美團網恰是通過這種方式,對spider優先展示高質量頁面、屏蔽了低質量頁面,為spider提供了更友好的網站結構,避免了黑洞的形成。

尺棗竭美他位押傳賄頓亡乓伶普搜芝噸返嚼吵蹄圍泰闊素大爪煎聽域會議蔥傾知損艦送服禁癥米標嘴株衡均順率要淚敘共廟彈佛您鏡廟檢結妙逆租兼敞籠吞燭脂扒美陣測固揀率寒柱嘩士駐嫁嘩警邀倆炒質陸究防獲祖黃濱濕遇易蠅無燈尊進碼幼探弟盞囑盲織附興朝糞桂懼味迷去后幾魯自稈道莊襪劣風墨可芳螺杠姿紫騰后僅蕉疑濟債孫吩炊值福隨主俯vmHN70。網站優化使用robots巧妙避免蜘蛛黑洞。洛龍區seo招聘,seo手機關鍵字排行專家,排名seo積累云速捷穩妥,競價是指seo還是sem,seo培訓附子教程,seo信息怎么填

如果您覺得 網站優化使用robots巧妙避免蜘蛛黑洞 這篇文章對您有用,請分享給您的好友,謝謝!

主站蜘蛛池模板: 成人自拍视频网| 国产成人免费高清激情视频| 欧美成人免费高清网站| 窝窝午夜看片成人精品| 成人影院久久久久久影院| 成人影片在线免费观看| 国产成人精品男人免费| 亚洲国产成人精品青青草原| 欧美成人精品第一区二区三区 | 国产成人免费ā片在线观看老同学| 免费成人在线电影| 成人毛片18岁女人毛片免费看| 四虎成人精品一区二区免费网站| 欧美成人免费全部色播| 国产成人tv在线观看| 成人性生交大片免费看| 亚洲国产成人九九综合| 国产成人精品综合| 成人最新午夜免费视频| 91成人在线免费视频| 国产成人综合久久精品| 成人在线播放av| 黄色成人在线网站| 免费h成人黄漫画嘿咻破解版| 成人嗯啊视频在线观看| 成人福利视频导航| 欧美成人在线影院| 中国成人在线视频| 午夜成人理论福利片| 国产成人无码一二三区视频| 成人欧美一区二区三区在线| 日韩成人在线网站| 欧美成人精品第一区二区三区 | 欧美成人免费在线| 久久久久亚洲av成人网| 亚洲欧美成人综合久久久| 国产成人亚洲精品91专区高清| 国产成人精品一区二区三区无码| 国内一级毛片成人七仙女| 成人欧美一区二区三区的电影| 日韩成人在线免费视频|