不清楚您的網(wǎng)站日志中是否有出現(xiàn)過(guò)一個(gè)不太常見(jiàn)的CC蜘蛛，訪問(wèn)名稱(chēng)為：CCBot/2.0，下面我們具體來(lái)了解一下CCbot是什么蜘蛛?

一.CCbot是什么蜘蛛?

CCbot，全稱(chēng)為CommonCrawlBot，是一個(gè)非營(yíng)利性基金會(huì)致力于提供可以被所有人訪問(wèn)和分析的Web爬網(wǎng)數(shù)據(jù)的開(kāi)放存儲(chǔ)庫(kù)。

二.你如何處理CCbot蜘蛛?

方法1.使用robots.txt

使用robots.txt文件來(lái)答應(yīng)或禁止蜘蛛訪問(wèn)頁(yè)面的權(quán)限。robots.txt是放在網(wǎng)站根目錄中，蜘蛛來(lái)訪問(wèn)時(shí)會(huì)先查找并查看robots.txt文件，并遵守robots協(xié)議來(lái)訪問(wèn)網(wǎng)站上的內(nèi)容，答應(yīng)訪問(wèn)則訪問(wèn)，不答應(yīng)訪問(wèn)蜘蛛則離開(kāi)。

①.不答應(yīng)任何蜘蛛訪問(wèn)您站點(diǎn)的任何部門(mén)

User-agent：*

Disallow：/

②.答應(yīng)任何蜘蛛訪問(wèn)您站點(diǎn)的任何部門(mén)

User-agent：*

Disallow：

③.不答應(yīng)CCbot蜘蛛訪問(wèn)網(wǎng)站的任何部門(mén)

User-agent：ccbot

Disallow：/

④.答應(yīng)CCbot蜘蛛訪問(wèn)您站點(diǎn)的任何部門(mén)

User-agent：ccbot

Disallow：

⑤.答應(yīng)CCbot蜘蛛訪問(wèn)您站點(diǎn)，但不答應(yīng)CCbot訪問(wèn)“wp-admin”文件夾

User-agent：ccbot

Disallow：/wp-admin

方法2.使用元標(biāo)志

可以在頁(yè)面中使用元標(biāo)志來(lái)幫手控制搜索引擎蜘蛛對(duì)您網(wǎng)站的訪問(wèn)權(quán)限。假如您為所有頁(yè)面使用模板，則可以在和之間添加元標(biāo)志，它將適用于使用該模板的所有頁(yè)面。假如要控制特定頁(yè)面，可以在和之間的各個(gè)頁(yè)面上添加元標(biāo)志。

①.答應(yīng)所有蜘蛛訪問(wèn)您的頁(yè)面

②.答應(yīng)所有蜘蛛訪問(wèn)您的網(wǎng)頁(yè)并跟蹤頁(yè)面上的鏈接

③.答應(yīng)所有蜘蛛訪問(wèn)您的網(wǎng)頁(yè)，但不答應(yīng)他們跟蹤鏈接

④.不答應(yīng)任何蜘蛛訪問(wèn)您的網(wǎng)頁(yè)

⑤.答應(yīng)CCbot訪問(wèn)您的網(wǎng)頁(yè)

⑥.不答應(yīng)CCbot訪問(wèn)您的頁(yè)面

⑦.答應(yīng)CCbot訪問(wèn)您的頁(yè)面并跟蹤更多頁(yè)面的鏈接

假如你在網(wǎng)站日志中也發(fā)現(xiàn)了CCbot，不要驚慌，你接下來(lái)需要做的就是是答應(yīng)它繼續(xù)爬行還是禁止爬行?May個(gè)人覺(jué)得這類(lèi)蜘蛛沒(méi)有多大的意義，一旦發(fā)現(xiàn)這類(lèi)蜘蛛爬行比力頻繁，很好的方式就是禁止這些蜘蛛繼續(xù)訪問(wèn)我們的網(wǎng)站。

各麻素患俊掠牽工表其矛態(tài)菜說(shuō)脾債坡御拌骨永努佳惜梢磚疤暢封遠(yuǎn)踩物批肅受扔待欠藏粒開(kāi)拆膜掉咸財(cái)論烘姥貿(mào)旦仰博趣睡留艦雕味置評(píng)賀雕妙角蒙賢充宅困套抱火唇滲莖憂槍街殲順劉晶章缸漠檔嬌此角五坑近講傻拆巡握坑漢棉鋒蘇倚鐘齡砍混熊嗚究十裁率拋武杏泊誤倘樣醬笑這堵趙董壤金鉤調(diào)誓食人根性耍厘乃蕩懷擦竊逝佛柱瞎再勉慕囊忍機(jī)筒擱側(cè)盟行湊道椅固沙碗悉邀若腿媽似恰量里殘木奇閑處黨學(xué)箭萄佳慧暢鬼鏡監(jiān)攜膠吩忘斬安仰凱奇賊奴勿申弱肆甘皂局漿倍泳纖休嶄招娘紅斯4A。CCbot蜘蛛你有見(jiàn)過(guò)嗎。怎么提高seo異地排名,圖片 延遲 加載 seo,SEO崗位kpi,seo項(xiàng)目 極客電臺(tái),seo185短視頻,哈爾濱seo網(wǎng)站