網(wǎng)站日志怎么看？怎么用？有什么規(guī)則？

怎么看：

優(yōu)選對(duì)日志的各部份含意要清楚。推薦一款在線分析工具://本人下載log文件DW下人工分析對(duì)比親測(cè)，非常正確的工具，為開發(fā)者點(diǎn)32個(gè)贊?。。?

怎么用：

會(huì)看了，就要通過(guò)日志的記錄，來(lái)修正網(wǎng)站的問(wèn)題，使網(wǎng)站更被引擎喜歡。

有什么規(guī)則：

引擎有不同IP段的抓取蜘蛛：

1、不同內(nèi)容的抓取蜘蛛

2、權(quán)重頁(yè)的抓取蜘蛛、低權(quán)重頁(yè)的抓取蜘蛛

3、不同頁(yè)面的抓取蜘蛛

4、對(duì)新站的抓取蜘蛛

5、將要K站的、進(jìn)沙盒的抓取蜘蛛

7、高頻率（天天更新）的抓取蜘蛛

8、新站點(diǎn)或出現(xiàn)異常的站點(diǎn)蜘蛛

9、不間斷巡邏的蜘蛛210.72.225.*（它是我們通常理解的引擎蜘蛛抓取網(wǎng)站的情況，我以前總以為百度就有一人蜘蛛，天天

不停的進(jìn)出各種網(wǎng)站，其實(shí)，這只是一個(gè)常運(yùn)轉(zhuǎn)的程序）

10、用戶的訪問(wèn)IP

還包括了進(jìn)入網(wǎng)站的位置、以及用戶搜索時(shí)網(wǎng)站被展現(xiàn)且用戶點(diǎn)擊進(jìn)入、以及在搜索圖片時(shí)的進(jìn)入位置。進(jìn)入時(shí)間、

等等（下文詳解，這里主要闡述不同IP對(duì)網(wǎng)站有不同意義，不僅僅要看301、200、304、404等因?yàn)?，日志的信息量很大?

假如我們知道這以上內(nèi)容，甚至更多時(shí)，我們就可以通過(guò)日志，來(lái)知道：引擎只派123.125.71.*來(lái)處理低權(quán)重的網(wǎng)頁(yè)。經(jīng)常這個(gè)

IP段的蜘蛛訪問(wèn)后會(huì)返回304。304是指網(wǎng)頁(yè)沒(méi)有變化。哪么，是不是通過(guò)這一點(diǎn)，我們知道了兩個(gè)問(wèn)題：第一要更新這個(gè)網(wǎng)頁(yè)

。第二這個(gè)網(wǎng)頁(yè)權(quán)重不高，要做內(nèi)外錨文本？（注重每一條日志里除了對(duì)首頁(yè)的抓取外，都明確的記錄了對(duì)哪一頁(yè)的返回信息）

等等IP段的蜘蛛和返回碼，以及記錄的被訪問(wèn)的網(wǎng)頁(yè)，這有助于我們更善網(wǎng)頁(yè)。日志就是這么用的。

請(qǐng)認(rèn)真閱讀以下內(nèi)容：以便大家更好的研究日志。

不同IP段蜘蛛的含意一：

121.14.89.*這個(gè)ip段作為度過(guò)新站考察期。

123.125.68.*這個(gè)蜘蛛經(jīng)常來(lái),別的來(lái)的少,表示網(wǎng)站可能要進(jìn)入沙盒了，或被者降權(quán)。

220.181.7.*123.125.66.*代表百度蜘蛛IP造訪，預(yù)備抓取你東西。

220.181.68.*天天這個(gè)IP段只增不減很有可能進(jìn)沙盒或K站。

203.208.60.*這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正常現(xiàn)象后。

210.72.225.*這個(gè)ip段不間斷巡邏各站。

二：

123.125.71.*抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章

三：

125.90.88.*廣東茂名市電信也屬于百度蜘蛛IP主要造成成分，是新上線站較多，還有使用過(guò)站長(zhǎng)工具，或SEO綜合檢測(cè)造成的。

四：

220.181段屬于權(quán)重IP段此段爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。

220.181.108.75重點(diǎn)抓取更新文章的內(nèi)頁(yè)達(dá)到90%，8%抓取首頁(yè)，2%其他。權(quán)重IP段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。

220.181.108.77專用抓首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.80專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.83專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.86專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.89專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.91屬于綜合的，主要抓取首頁(yè)和內(nèi)頁(yè)或其他，屬于權(quán)重IP段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。

220.181.108.92同上98%抓取首頁(yè)，可能還會(huì)抓取其他(不是指內(nèi)頁(yè))

220.181.108.94專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

220.181.108.95這個(gè)是百度抓取首頁(yè)的專用IP，如是220.181.108段的話，基本來(lái)說(shuō)你的網(wǎng)站會(huì)天天隔夜快照

220.181.108.97專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是30400代表未更新。

五：

注===以上IP尾數(shù)還有很多，但段位一樣的123.125.71.*段IP代表抓取內(nèi)頁(yè)收錄的權(quán)重比較低.可能由于你采集文章或拼文章暫時(shí)被收錄但不放出來(lái).(意思也就是說(shuō)待定)。

220.181.108.*段IP主要是抓取首頁(yè)占80%，內(nèi)頁(yè)占30%，這此爬過(guò)的文章或首頁(yè)。

六：

所謂盡信書不如無(wú)書，以上只能當(dāng)作參考，不能完全照搬；假如還看到一些不知名的類似百度IP蜘蛛的話，可能是一些（站長(zhǎng)工具）的模擬蜘蛛IP。

網(wǎng)站日志中返回代碼的含義

一：1xx（臨時(shí)響應(yīng)）表示臨時(shí)響應(yīng)并需要請(qǐng)求者繼續(xù)執(zhí)行操作的狀態(tài)代碼。

100（繼續(xù)）請(qǐng)求者應(yīng)當(dāng)繼續(xù)提出請(qǐng)求。服務(wù)器返回此代碼表示已收到請(qǐng)求的第一部

分，正在等待其余部分。

101（切換協(xié)議）請(qǐng)求者已要求服務(wù)器切換協(xié)議，服務(wù)器已確認(rèn)并預(yù)備切換。

二：2xx（成功）表示成功處理了請(qǐng)求的狀態(tài)代碼。

200（成功）服務(wù)器已成功處理了請(qǐng)求。通常，這表示服務(wù)器提供了請(qǐng)求的網(wǎng)頁(yè)。

201（已創(chuàng)建）請(qǐng)求成功并且服務(wù)器創(chuàng)建了新的資源。

202（已接受）服務(wù)器已接受請(qǐng)求，但尚未處理。

203（非授權(quán)信息）服務(wù)器已成功處理了請(qǐng)求，但返回的信息可能來(lái)自另一來(lái)源。

204（無(wú)內(nèi)容）服務(wù)器成功處理了請(qǐng)求，但沒(méi)有返回任何內(nèi)容。

205（重置內(nèi)容）服務(wù)器成功處理了請(qǐng)求，但沒(méi)有返回任何內(nèi)容。

206（部分內(nèi)容）服務(wù)器成功處理了部分GET請(qǐng)求。

三：3xx（重定向）表示要完成請(qǐng)求，需要進(jìn)一步操作。通常，這些狀態(tài)代碼用來(lái)重定向。

300（多種選擇）針對(duì)請(qǐng)求，服務(wù)器可執(zhí)行多種操作。服務(wù)器可根據(jù)請(qǐng)求者(useragent)選擇一項(xiàng)操作，或提供操作列表供請(qǐng)求者選擇。

301（永久移動(dòng)）請(qǐng)求的網(wǎng)頁(yè)已永久移動(dòng)到新位置。服務(wù)器返回此響應(yīng)（對(duì)GET或HEAD請(qǐng)求的響應(yīng)）時(shí)，會(huì)自動(dòng)將請(qǐng)求者轉(zhuǎn)到新位置。

302（臨時(shí)移動(dòng)）服務(wù)器目前從不同位置的網(wǎng)頁(yè)響應(yīng)請(qǐng)求，但請(qǐng)求者應(yīng)繼續(xù)使用原有位置來(lái)進(jìn)行以后的請(qǐng)求。

303（查看其他位置）請(qǐng)求者應(yīng)當(dāng)對(duì)不同的位置使用單獨(dú)的GET請(qǐng)求來(lái)檢索響應(yīng)時(shí)，服務(wù)器返回此代碼。

304（未修改）自從上次請(qǐng)求后，請(qǐng)求的網(wǎng)頁(yè)未修改過(guò)。服務(wù)器返回此響應(yīng)時(shí)，不會(huì)返回網(wǎng)頁(yè)內(nèi)容。

305（使用代理）請(qǐng)求者只能使用代理訪問(wèn)請(qǐng)求的網(wǎng)頁(yè)。假如服務(wù)器返回此響應(yīng)，還表示請(qǐng)求者應(yīng)使用代理。

307（臨時(shí)重定向）服務(wù)器目前從不同位置的網(wǎng)頁(yè)響應(yīng)請(qǐng)求，但請(qǐng)求者應(yīng)繼續(xù)使用原有位置來(lái)進(jìn)行以后的請(qǐng)求。

四：4xx（請(qǐng)求錯(cuò)誤）這些狀態(tài)代碼表示請(qǐng)求可能出錯(cuò)，妨礙了服務(wù)器的處理。

400（錯(cuò)誤請(qǐng)求）服務(wù)器不理解請(qǐng)求的語(yǔ)法。

401（未授權(quán)）請(qǐng)求要求身份驗(yàn)證。對(duì)于需要登錄的網(wǎng)頁(yè)，服務(wù)器可能返回此響應(yīng)。

403（禁止）服務(wù)器拒絕請(qǐng)求。

404（未找到）服務(wù)器找不到請(qǐng)求的網(wǎng)頁(yè)。

405（方法禁用）禁用請(qǐng)求中指定的方法。

406（不接受）無(wú)法使用請(qǐng)求的內(nèi)容特性響應(yīng)請(qǐng)求的網(wǎng)頁(yè)。

407（需要代理授權(quán)）此狀態(tài)代碼與401（未授權(quán)）類似，但指定請(qǐng)求者應(yīng)當(dāng)授權(quán)使用代理。408（請(qǐng)求超時(shí)）服務(wù)器等候請(qǐng)求時(shí)發(fā)生超時(shí)。

409（沖突）服務(wù)器在完成請(qǐng)求時(shí)發(fā)生沖突。服務(wù)器必須在響應(yīng)中包含有關(guān)沖突的信息。

410（已刪除）假如請(qǐng)求的資源已永久刪除，服務(wù)器就會(huì)返回此響應(yīng)。

411（需要有效長(zhǎng)度）服務(wù)器不接受不含有效內(nèi)容長(zhǎng)度標(biāo)頭字段的請(qǐng)求。

412（未滿足前提條件）服務(wù)器未滿足請(qǐng)求者在請(qǐng)求中設(shè)置的其中一個(gè)前提條件。

413（請(qǐng)求實(shí)體過(guò)大）服務(wù)器無(wú)法處理請(qǐng)求，因?yàn)檎?qǐng)求實(shí)體過(guò)大，超出服務(wù)器的處理能力。

414（請(qǐng)求的URI過(guò)長(zhǎng)）請(qǐng)求的URI（通常為網(wǎng)址）過(guò)長(zhǎng)，服務(wù)器無(wú)法處理。

415（不支持的媒體類型）請(qǐng)求的格式不受請(qǐng)求頁(yè)面的支持。

416（請(qǐng)求范圍不符合要求）假如頁(yè)面無(wú)法提供請(qǐng)求的范圍，則服務(wù)器會(huì)返回此狀態(tài)代碼。

417（未滿足期望值）服務(wù)器未滿足”期望”請(qǐng)求標(biāo)頭字段的要求。

五：5xx（服務(wù)器錯(cuò)誤）這些狀態(tài)代碼表示服務(wù)器在嘗試處理請(qǐng)求時(shí)發(fā)生內(nèi)部錯(cuò)誤。這些錯(cuò)誤可能是服務(wù)器本身的錯(cuò)誤，而不是請(qǐng)求出錯(cuò)。

500（服務(wù)器內(nèi)部錯(cuò)誤）服務(wù)器碰到錯(cuò)誤，無(wú)法完成請(qǐng)求。

501（尚未實(shí)施）服務(wù)器不具備完成請(qǐng)求的功能。例如，服務(wù)器無(wú)法識(shí)別請(qǐng)求方法時(shí)可能會(huì)返回此代碼。

502（錯(cuò)誤網(wǎng)關(guān)）服務(wù)器作為網(wǎng)關(guān)或代理，從上游服務(wù)器收到無(wú)效響應(yīng)。

503（服務(wù)不可用）服務(wù)器目前無(wú)法使用（由于超載或停機(jī)維護(hù)）。通常，這只是暫時(shí)狀態(tài)。

504（網(wǎng)關(guān)超時(shí)）服務(wù)器作為網(wǎng)關(guān)或代理，但是沒(méi)有及時(shí)從上游服務(wù)器收到請(qǐng)求。

505（版本不受支持）服務(wù)器不支持請(qǐng)求中所用的協(xié)議版本。

日志分析

從網(wǎng)站上下載下的網(wǎng)站日志，在txt文本中就可以看到以下數(shù)據(jù)：

117.26.203.167––[02/May/2021:01:57:44-0700]“GET/index.php/1.1”50019967“-”“Mozilla/4.0(compatible;MSIE8.0;WindowsNT5.1;Trident/4.0;AskTbCS-ST/5.11.3.15590;.NETCLR2.0.50727;AlexaToolbar)”

分析：

117.26.203.167訪問(wèn)ip

02/May/2021:01:57:44-0700訪問(wèn)日期-時(shí)區(qū)

GET/index.php/1.1根據(jù)/1.1協(xié)議抓?。ㄓ蛎拢?index.php這個(gè)頁(yè)面（GET表示服務(wù)器動(dòng)作）

500服務(wù)器響應(yīng)狀態(tài)碼

服務(wù)器響應(yīng)狀態(tài)碼通常狀態(tài)碼有以下幾種：200,301,302,304,404,500等。200代表用戶成功的獲取到了所請(qǐng)求的文件，假如是搜索引擎，則證實(shí)蜘蛛在這次爬行中順利的發(fā)現(xiàn)了一些新的內(nèi)容。而301則代表用戶所訪問(wèn)的某個(gè)頁(yè)面url已經(jīng)做了301重定向(永久性)處理，302則是暫時(shí)性重定向。404則代表所訪問(wèn)的頁(yè)面已經(jīng)不存在了，或者說(shuō)訪問(wèn)的url根本就是個(gè)錯(cuò)誤的。500則是服務(wù)器的錯(cuò)誤。

19967表示抓取了19967個(gè)字節(jié)

Mozilla/4.0(compatible;MSIE8.0;WindowsNT5.1;Trident/4.0;AskTbCS-ST/5.11.3.15590;.NETCLR2.0.50727;AlexaToolbar表示訪問(wèn)者使用火狐瀏覽器及AlexaToolbar等訪問(wèn)端信息

假如你的日志里格式不是如此，則代表日志格式設(shè)置不同。

很多日志里可以看到20000和200064則都代表正常抓取。

抓取頻率是通過(guò)查看每日的日志里百度蜘蛛抓取次數(shù)來(lái)獲知。抓取頻率并沒(méi)有一個(gè)規(guī)范的時(shí)間表或頻率數(shù)字，我們一般通過(guò)多日的日志對(duì)比來(lái)判定。

當(dāng)然，我們希望百度蜘蛛每日抓取的次數(shù)越多越好。

發(fā)布時(shí)間：2021-10-10

推薦閱讀：

復(fù)紛咳垂奶私五席琴彩詠州煉恰筋掘太繭祝翅艷獄巾博改曠哀序叨精莊梅化加萍因叮崗脫勤連仰抬弟盯粘閃像警偷挺搜溫沈速按擊聲拾主患淘謎頑姜牛鄉(xiāng)拔朋鴉蒼厘鞠沙仙貞捐沖偶穿泡條處屠染六堡8Spcx。SEO優(yōu)化日常-網(wǎng)站日志怎么看怎么用有什么規(guī)則。2019年最新免費(fèi)黑帽seo系列,推廣多少錢專注樂(lè)云seo,關(guān)鍵詞營(yíng)銷樂(lè)云seo十年_