什么是robots.txt？

我們可以這么理解，robots.txt是一種與搜索引擎對話的一種語言，我們通過robots.txt對搜索引擎說，網站哪些頁面可以抓取收錄，哪些不可以抓取收錄，搜索引擎就會按照我們的要求進行抓取，當然我們也可以通過robots.txt去指定哪些搜索引擎，可以抓取我們的站點，哪些搜索引擎不可以抓取我們的網站，比如我們不想讓360搜索引擎抓取，我們直接屏蔽就可以了。

robots.txt如何編寫？

編寫robots.txt其實非常簡單，只是固定的指令而已，首先我們新建立一個robots.txt這樣的文檔，然后在里面寫上相關的指令，在把這個文檔上傳到網站根目錄就可以了，是不是非常簡單，那么編寫規則和技巧，大家可以訪問我們天線貓SEO的“robots.txt協議有什么用？如何正確編寫？”這篇文章，會具體教大家如何編寫，真的非常簡單，一看就懂的。

robots.txt的生效期是多久？

一般而言，是3天左右，就是當你寫完robots.txt，上傳到服務器以后，因為緩存的關系，搜索引擎還會按照之前的方法抓取，1-3天左右，就會逐漸更新緩存，按照你當前的規則去抓取，因為每個搜索引擎的生效時間都是不同的，這個大家可以實際中去測試，一般而言都是1-3天左右。

robots.txt的使用技巧與正確方法（避開誤區）

1，利用robots.txt指定優化某些內容（網站地圖）。

在SEO優化的時候，尤其是一個新站有很多內容，但是百度并不會都進行抓取，所以收錄量就會很低，所以就需要我們把所有的鏈接都放到一個文件里，讓百度進行抓取提升我們的收錄率，但如何讓百度抓取我們當前這個文件那？其實很簡單，我們可以直接把這個文件寫到robots.txt中，因為百度每次訪問網站都會先訪問robots.txt，所以只要把你的網站地圖文件寫在robots.txt中，百度就一定可以抓取到，提升我們站點的收錄量。（下面圖片就是寫入的方式）

2，防止robots.txt屏蔽蜘蛛抓取（影響很大）

這個是非常重要的，我們編寫robots.txt一定不要寫錯而造成蜘蛛抓取不了，假如真的一不小心寫錯，那么你的網站蜘蛛就無法抓取，就不會產生收錄了，上面推薦了大家一篇文章，大家專心看下，寫完robots.txt一定要按照上面的文章對照一下，假如確定沒錯，在上傳服務器，另外說一下，假如你寫完robots.txt，你發現網站收錄量降低，百度站長平臺抓取量不斷下降，就一定是robots.txt的問題了。

3，利用robots.txt屏蔽無效抓取。

在我們優化網站的時候，有一些抓取是無效的，比如我們有一些目錄、一些網站后端文件、一些圖片等等，還有一些百度抓取失敗的404鏈接，本身網站已經處理了當前的404，百度依然在抓取，我們就要屏蔽了，因為百度抓取以后，都會回饋個給搜索引擎，假如回饋的內容都是低質量的無效的，那么我們的網站評分就會下降，所以大家可以通過分析百度蜘蛛來獲取這樣的無效抓取，進而進行屏蔽，假如你不會分享網站蜘蛛，你可以看下當前這篇文章“”，具體教你如何分析網站蜘蛛日志。

4，為什么robots.txt已經屏蔽，但依然在抓取！

（1）真假蜘蛛的辨別

第一點我們來進行講解，假如你通過百度蜘蛛發現有一些蜘蛛抓取的都是你的敏感目錄，或者一些你根本就沒有的文件，這種蜘蛛，可能是假蜘蛛，是來破壞你網站的蜘蛛，你需要識別當前蜘蛛是不是真蜘蛛，假如是假蜘蛛，你就需要屏蔽了，如何分辨蜘蛛真假那？大家看下“如何判定真假百度蜘蛛，兩招教你輕松識別（實操教程）！”當前這篇文章，會具體的教大家如何分辨，其實非常簡單的。

（2）一些不知名的搜索引擎蜘蛛

robotx.txt現在而言，百度搜索引擎在遵循、360搜索引擎在遵循、谷歌搜索引擎在遵循、搜狗搜索引擎在遵循，但是有一些小引擎未必會遵循，他們只注重抓取到優質的內容，所以，可能有一些蜘蛛還會進行抓取。可以通過蜘蛛日志分析當前是哪個搜索引擎的蜘蛛在抓取。

（3）robots.txt還未生效，或者百度不是100%兼容！

另外前面說過，robots.txt的生效時間是1-3天，在沒有生效之前，百度依然是會進行抓取你的，這種情況是存在的，另外說一點，robots.txt針對谷歌引擎、360引擎是絕對好使的，但針對百度而言，可能不能100%的兼容，所以對于這一點，大家還是要注重一下。

Tags：robots

苦將給崇贊遺跑良蓋日創么六藥價寄癥暑班驟忘弟傘重淹廳薦的街憑存應廢反現娃妙傘糞識乒妹狼藍長銹句史涼養挑哥科磁絨弦筍聚萍太紅沉幣拆狗手獵帥左絲段剖董別塘毀菊佛僵右叼喬啊永喊伸差藏宴悉棕斃菊聯聲姿毯穿衣灌桃鮮皂辣癥舅圍汽躺休屈餃對匠遙越違燭充溜沫席參貴掀捏慰彈洽填AI1s80。什么是robots.txt協議教你正確的優化技巧非常重要。sem和seo哪個好就業,什么叫seo sit,重慶外包seo哪家好,seo谷歌三大工具,做SEO外包賺錢嗎,百度貼吧很好 樂云seo