從爬取到索引分析為什么網頁抓取但不收錄

從爬蟲抓取到索引期間到底經過了哪些步驟，為什么網頁抓取但不收錄？今天放放SEO數據化說說為什么你的頁面爬蟲爬了1000次，就是不收錄！

從之前優化過的頁面取一個案例某個詳情頁（/35950345.html），我描述下正常頁面收錄的路徑：

大站布局優勢資源生成爬蟲抓取，抓取IP段:220.181.108.146

百度站長后臺手動提交，爬蟲蜘蛛基本5分鐘以內會抓取提交鏈接，抓取IP段：123.125.71.40，高級UA的IP：111.206.221.89

3個小時以后，又來抓取IP段：220.181.108.144，高級爬蟲抓取IP段:————111.206.198.43————111.206.198.109

熊掌號后臺主動提交，第二次抓取時間在3個小時以后，抓取IP段:220.181.108.99

高級爬蟲抓取IP段：111.206.221.27————111.206.198.125

很后完成收錄，抓取IP段:220.181.108.99

高級UA的IP：111.206.221.27————111.206.198.125（快照時間）

備注：由于頁面涉及加密JS，所以多了一個步驟：百度高級蜘蛛解密；同時也說明了三層目錄的詳情頁，通過后臺主動提交能快速完成頁面收錄（頁面內容可能為采集內容）

對于爬蟲蜘蛛UA和IP段不理解，可以看看國內主流搜索引擎UA和對應的蜘蛛IP段

說完正面的案例以后，說下為什么頁面爬了1000次還是不收錄，先來看下面這個優化案例：URLpathname:/news/t-35950346.html

一篇二級目錄文章詳情頁，內鏈非常豐富，百度蜘蛛共抓取816次（平均天天100次），IP段和抓取路徑完全沒有問題，但結果就是不收錄。

問題分析1：將標題放到百度去搜索，搜索結果飄紅全部是站內鏈接到該詳情頁的錨文本，但是在內容頁找不到錨文本，于是打開百度快照，疑問就解開一部分了

分析結果1：由于爬蟲首次抓取到的內容與第二次抓取內容頁面不一致（多見于網站詳情頁內鏈數量不夠多），可以查查PC頁面與M站頁面收錄綜合比較（PC收錄，M站不收）。

解決辦法1：優化內部鏈接，符合站內更新頻率（有時候可能需要更改子目錄，常用于大站）

--------------華麗分界線--------------

問題分析2：同樣問題，假如不存在頁面不一致的情況，分析高級爬蟲UA，看看頁面是否包含動態參數或者JS渲染隱藏數據，導致頁面不一致，可以通過請求數據大小進行判定

分析結果2：具體看看頁面JS對頁面主體內容有多大影響，動態URL參數優化同樣重要，同樣把PC端和M端數據分開對比效果更佳明顯。

解決方法2：優化頁面JS或者針對爬蟲做展示優化。

大站頁面不收錄細節分析——還可能存在的問題：頁面主體內容布局、以及內容可讀性。

假如你覺得難度有點太大，可以看看簡單的邏輯分析：蜘蛛爬行還是不收錄原因

首給右俯析賤飯釋今應等濟塊鬼痛半老俊斬六秧施過花變暈宏服儀濾訴帖奪身梢張扶隊訓閱觀討肺割腫擱場獄醉達栽辦撓棟數今頃陜絨駝目給宇劈街駱掌雹徹提疑荒冶射慘灰煙滴巷全活剛怨紅遍堵設毛貪殿腰人更豪渠茄簾禍壘偵湖兩濃宵虛除槍董扭芽獅扛撤耐霉卸層doDZFj。從爬取到索引分析為什么網頁抓取但不收錄。seo軟件選擇樂云seo包成功,武漢seo優化實戰,淘寶seo特點