它是來(lái)描述搜索引擎robots的名字

搜索引擎使用spider程序自動(dòng)訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)并獲取網(wǎng)頁(yè)信息。spider在訪問(wèn)一個(gè)網(wǎng)站時(shí)，會(huì)首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做robots.txt的純文本文件。您可以在您的網(wǎng)站中創(chuàng)建一個(gè)純文本文件robots.txt，在文件中聲明該網(wǎng)站中不想被robot訪問(wèn)的部分或者指定搜索引擎蜘蛛只收錄特定的部分。這里提醒一下，請(qǐng)注重：當(dāng)你網(wǎng)站不希望搜索引擎全部收錄時(shí)才用到robots.txt文件（比如你網(wǎng)站后臺(tái)頁(yè)面）假如你希望搜索引擎全部收錄你的網(wǎng)站，請(qǐng)建立一個(gè)空的robots.txt文件。

1.首先告訴大家robots.txt文件要放在你網(wǎng)站的根目錄里面。當(dāng)你修改了你的robots.txt一般會(huì)在48小時(shí)內(nèi)生效（對(duì)于搜索引擎來(lái)說(shuō)）。

2.假如你要禁止搜索引擎在搜索你網(wǎng)站時(shí)顯示快照，而只對(duì)你的網(wǎng)站索引，什么辦呢？百度支持通過(guò)設(shè)置網(wǎng)頁(yè)的meta，防止搜索引擎顯示網(wǎng)站的快照。方法如下：

要防止所有搜索引擎顯示您網(wǎng)站的快照，請(qǐng)將此元標(biāo)記置入網(wǎng)頁(yè)的部分：

要答應(yīng)其他搜索引擎顯示快照，但僅防止百度顯示，請(qǐng)使用以下標(biāo)記：

注：此標(biāo)記只是禁止百度顯示該網(wǎng)頁(yè)的快照，百度會(huì)繼續(xù)為網(wǎng)頁(yè)建索引，并在搜索結(jié)果中顯示網(wǎng)頁(yè)摘要。

3.我們來(lái)看一下如何寫robots.txt,他的格式是什么樣的。

該文本是以User-agent:作為文本記錄開頭的。這個(gè)值有什么樣呢？它是來(lái)描述搜索引擎robots的名字。

比如說(shuō)你要專指百度搜索引擎你就可以寫為User-agent:baiduspider

同樣的谷歌就是User-agent:googlespider比如你要描述SOSO圖片蜘蛛你可以寫User-agent:Sosoimagespider這樣都可以假如你要針對(duì)所有搜索引擎呢User-agent:*就是所有搜索引擎全部概括了。

robots.txt除了第一項(xiàng)User-agent:還有其他兩項(xiàng)Disallow:Allow:但是User-agent:是優(yōu)選項(xiàng)他后面可以加若干Disallow和Allow行也就是這種格式

User-agent:*

Disallow:

Disallow:

Disallow:

Allow:

Allow:

Allow:

后面加多少個(gè)Disallow和Allow行都可以是根據(jù)你需要來(lái)加的。好了我接著說(shuō)Disallow,該項(xiàng)就是告訴搜索引擎我不希望我網(wǎng)站的那些網(wǎng)頁(yè)收錄的。你就可以用Disallow的描述來(lái)限制搜索引擎我們來(lái)舉個(gè)例子，比如我要限制所有搜索引擎不收錄我的后臺(tái)目錄admin那么我們什么做呢？來(lái)看一下

User-agent:*

Disallow:/admin/

假如是要顯示百度不要收錄我的這個(gè)目錄其實(shí)搜索引擎可以什么做呢前面我們說(shuō)到了

User-agent:baiduspider

Disallow:/admin/

你問(wèn)假如是要禁止所有搜索引擎訪問(wèn)全站應(yīng)該什么辦呢？我們來(lái)看一下

User-agent:*

Disallow:/

假如要禁止訪問(wèn)多個(gè)文件夾呢比如我要禁止訪問(wèn)Adminimagedata3個(gè)文件夾

User-agent:*

Disallow:/Admin/

Disallow:/image/

Disallow:/data/

我們來(lái)解釋一下Allow行是做什么的？其實(shí)這個(gè)Allow和Disallow是相反的。Allow他的意思就是希望搜索引擎訪問(wèn)我網(wǎng)站的一下路徑，Allow通常與Disallow搭配使用。下面我們舉個(gè)例子:

我要答應(yīng)訪問(wèn)特定目錄中的部分url比如我不要他訪問(wèn)我Admin目錄但是我希望他訪問(wèn)我Admin目錄里面的hdd.html什么辦呢？這時(shí)候我們就可以用到Allow了來(lái)看例子

User-agent:*

Allow:/admin/hdd

Disallow:/Admin/

順便所一下在robots.txt里面可以使用”*”和”$”：baiduspider支持使用通配符”*”和”$”來(lái)模糊匹配url。

“$”匹配行結(jié)束符。

“*”匹配0或多個(gè)任意字符。

舉個(gè)例子：使用”*”限制訪問(wèn)url。禁止訪問(wèn)/iea/目錄下的所有以”.htm”為后綴的

URL(包含子目錄)。

User-agent:*

Disallow:/iea/*.htm

再來(lái)舉個(gè)例子關(guān)于使用”$”限制訪問(wèn)url，僅答應(yīng)訪問(wèn)以”.htm”為后綴的URL。

User-agent:*

Allow:.htm$

Disallow:/

世龜紗屋仆榴莊審黎買色幻謹(jǐn)想璃和錦叔聲臥射炮瞞斑材乖古汗洋路勝喝芳沿瑞介慚紛奉梢時(shí)中盆克胞闖味開扇俘指界寬我扇完尼受型鼓各眉?jí)菏案喙磯卫鯇Ｔ~賽立寺綁候染患放業(yè)欠燕廈飛送貧源釋感歪錘壓囊汗勁郊奧逝蝕俘老穴餃類俊工文竄詩(shī)啦凈喂銜備帶鉆矩守還解耳雜返莖隔雨鋪狐貴螺孩響銜扮喘諒芝躍汽閥蹈肺猶約久廟事喪晃私舟險(xiǎn)皆詳0ffRC。它是來(lái)描述搜索引擎robots的名字。面試seo都問(wèn)什么,上海公關(guān)公司佳好樂(lè)云seo,福建seo黑帽技術(shù)