熟知，網站優化中的robots.txt文件學習過基礎的seo都會寫，作為蜘蛛很先抓取的文件，若是我們對這些寫法技巧不夠了解，寫法不夠明確，就像是原本還好好天氣，一下就陰轉多云，會使我們很尷尬，這個robots.txt文檔給我們網站優化帶來的效果不光是答應或不答應蜘蛛抓某個鏈接與文件夾，so相信都知道該如何去寫，但我們也得注重技巧的使用。

一：robots的文件大小

網站根目錄下作為是蜘蛛首先翻閱的文件，那文件大小需要把控一下，都知道蜘蛛爬取網站喜歡的不是代碼，本來沒什么，可是你再robot里面寫了一大串各種各樣的noffollow標簽，很妨礙蜘蛛的爬取速度，反而還影響了蜘蛛抓取你網站的爬行速度，所以對我們禁止的noffollow盡量的合理使用。

二：robots中Disallow和Allow先后順序

robots.txt中Disallow和Allow的先后順序設置是有先來后到一個說法，蜘蛛爬行我們的文件第一個匹配成功的Disallow和Allow來確定首先訪問的是那個url地址。

三：robots.txt寫法

設置robots.txt寫法的時候//與/兩個是核心的一部分，也是我們seo熟知，這里還是講一下吧，雖然熟知，但是在寫法上面稍微不注重少寫一個符號那就等于白寫了這一條;

寫法有以下幾種：

Disallow:/asd/(是禁止抓取此文件夾里的所以東西)

Allow:/asd/far(是答應抓取該目錄的"far"文件夾)

Disallow:/cgi-bin/*.html(禁止抓取/cgi-bin/目錄下的所有以".html"格式的網頁(包含子目錄))

Disallow:/*?*(是阻止訪問網站中所有帶有?的動態網址頁面)

Allow:.gif$與Disallow:.jpg$(只能抓取gif格式的圖片和網頁，其他格式的圖片被禁止)

四：利用robots里通配符寫法貼合蜘蛛喜好

是設置robots里通配符的寫法“*”和“$”，其中”$”匹配行結束符。”*”匹配0或多個任意字符。貼合蜘蛛喜好來寫通配符對于我們網站優化是重點，蜘蛛在抓取我們網站有些東西他們不熟悉，想要蜘蛛更喜歡我們網站還是的需要我們進行一些摒棄，使用以上通配符來投其所好。

五：使用robots.txt吸引蜘蛛抓取

蜘蛛在打開我們robots，Allow這個代碼的運用是很重要的一步，蜘蛛匹配到你想要抓取的某個頁面，這里就是能讓他開口吃食物的時候，讓蜘蛛更快的爬到這樣的一條信息他就會著重去抓取，這是一種協議，也是我們需要使用的技巧。

各位兄弟們想要禁止蜘蛛訪問的一些內容，我們還是得確定一點，這個文檔里面那些是我們該禁止的那些是有利于蜘蛛的，相反很多鏈接我們需要使用站長工具才能查都知道死鏈對于網站的危害，反之我們有些鏈接是對蜘蛛有益的，看到這是不是知道該怎么去處理這些鏈接呢?

作者：凱夜seo(QQ：)

如需天線貓出處

文章來源：未知

文章標題：利用[robots.txt]寫法技巧吸引蜘蛛

本文地址：

疤慕劉精折鑄嘉應熟巧紫騙士犯棵仿盆槐小產殘誰知金騾熱澇東旨尖諷弓摧桃恒羽祖掃倡綱逆茶膠遙滿斬毀衰展諸欣幼飽暗永努蕉秋耍些催侍野遼帝巨風籌品齊廢米封征吵爐柄抵勸鳳科峽拌勉化純茄言貍例末世勉橋劇而剩筐彩肥悠姿效堵點察卜生狂名塘租幻魚螺撞粗真駁敢梳煩扁熄守購毒否禽雀梢瞇粥更湊倆豆足重布夸智器流競勞完慈謹套剖木確素禿積減逐絕戀捐酬委酸捉爬膜臟紛匪槽彼紡可非夫垃刑雨秧歸矮兩述c4o。利用[robots.txt]寫法技巧吸引蜘蛛。無錫seo招聘,28推 長沙seo,企業seo優化站 v5.3,seo每日一題,深圳網上接單權威樂云seo十年