網(wǎng)站的robots.txt文件設置是不是合理,，哪些文件或許目錄需求屏蔽,、哪些設置辦法對網(wǎng)站運營有優(yōu)點?有人復制出相同的內容以應付不同搜索引擎的排名規(guī)則。然而,，一旦搜索引擎發(fā)現(xiàn)站內有大量“克隆”的頁面,，就會給以懲罰,，不收錄這些重復的頁面。另一方面,，我們網(wǎng)站的內容屬于個人私密文件,，不想暴露在搜索引擎中。這時,，robot.txt就是為了解決這兩個問題,。

一、什么是robots.txt

查找引擎運用spider程序主動拜訪互聯(lián)網(wǎng)上的頁面并獲取頁面信息,。spider在拜訪一個網(wǎng)站時,，會首先會查看該網(wǎng)站的根域下是不是有一個叫做robots.txt的純文本文件，這個文件用于指定spider在您網(wǎng)站上的抓取規(guī)劃,。您能夠在您的網(wǎng)站中創(chuàng)立一個robots.txt,，在文件中聲明該網(wǎng)站中不想被查找引擎錄入的有些或許指定查找引擎只錄入特定的有些。

二,、robots.txt文件對網(wǎng)站有啥優(yōu)點

1,、疾速增加網(wǎng)站權重和拜訪量;

2,、制止某些文件被查找引擎索引,，能夠節(jié)約服務器帶寬和網(wǎng)站拜訪速度;

3、為查找引擎供給一個簡潔明了的索引環(huán)境

三,、哪些網(wǎng)站的目錄需求運用robots.txt文件制止抓取

1),、圖像目錄

圖像是構成網(wǎng)站的首要組成元素。跟著現(xiàn)在建站越來越便利,，許多cms的呈現(xiàn),，真實做到了會打字就會建網(wǎng)站，而正是由于如此便利,，網(wǎng)上呈現(xiàn)了許多的同質化模板網(wǎng)站,，被重復運用，這樣的網(wǎng)站查找引擎是必定不喜愛的,，就算是你的網(wǎng)站被錄入了,，那你的作用也是很差的。若是你非要用這種網(wǎng)站的話,，主張你大概在robots.txt文件中進行屏蔽,，一般的網(wǎng)站圖像目錄是：imags或許img;

2)、網(wǎng)站模板目錄

如上面圖像目錄中所說,，cms的強大和靈敏,，也致使了許多同質化的網(wǎng)站模板的呈現(xiàn)和亂用，高度的重復性模板在查找引擎中形成了一種冗余,，且模板文件常常與生成文件高度類似,，相同易形成相同內容的呈現(xiàn),。對查找引擎很不友愛，嚴峻的直接被查找引擎打入冷宮,，不得翻身,，許多cms有具有獨立的模板寄存目錄，因而,，大概進行模板目錄的屏蔽,。一般模板目錄的文件目錄是：templets

3)、css,、js目錄的屏蔽

css目錄文件在查找引擎的抓取中沒有用途,，也無法供給有價值的信息。所以強烈主張在robots.txt文件中將其進行屏蔽,，以進步查找引擎的索引質量,。為查找引擎供給一個簡潔明了的索引環(huán)境更易晉升網(wǎng)站友愛性。css款式的目錄一般情況下是：css或許style

js文件在查找引擎中無法進行辨認,，這里僅僅主張,，能夠對其進行屏蔽，這樣做也有一個優(yōu)點：為查找引擎供給一個簡潔明了的索引環(huán)境;

4),、屏蔽雙頁面的內容

這里拿dedecms來舉例吧,。我們都曉得dedecms能夠運用靜態(tài)和動態(tài)url進行同一篇內容的拜訪，若是你生成全站靜態(tài)了,，那你有必要屏蔽動態(tài)地址的url連接,。這里有兩個優(yōu)點：1、查找引擎對靜態(tài)的url比動態(tài)的url更友愛,、更簡單錄入;2,、避免靜態(tài)、動態(tài)url能拜訪同一篇文章而被查找引擎判為重復內容,。這樣做對查找引擎友愛性來說是有益無害的,。

5)、模板緩存目錄

許多cms程序都有緩存目錄,，這種緩存目錄的優(yōu)點我想不用說我們也明白了吧,，能夠十分有用的晉升網(wǎng)站的拜訪速度，削減網(wǎng)站帶寬,，對用戶體會也是極好的,。不過，這樣的緩存目錄也有必定的缺陷,，那就是會讓查找引擎進行重復的抓取,，一個網(wǎng)站中內容重復也是大祭，對網(wǎng)站百害而無一利。許多運用cms建站的兄弟都沒有注意到,，有必要要導致注重,。

6)被刪去的目錄

死鏈過多，對查找引擎優(yōu)化來說,，是喪命的,。不能不導致站長的高度注重，,。在網(wǎng)站的開展過程中,，目錄的刪去和調整是不可避免的，若是你的網(wǎng)站當時目錄不存在了,，那有必要對此目錄進行robots屏蔽,，并回來正確的404過錯頁面(注意：在iis中，有的兄弟在設置404過錯的時分,，設置存在疑問,，在自定義過錯頁面一項中，404過錯的正確設置大概是挑選：默認值或許文件,，而不大概是：url,，以避免查找引擎回來200的狀況碼。至于怎樣設置,，網(wǎng)上教程許多,，我們要吧查找一下)

這里有一個爭議性的疑問，關于網(wǎng)站后臺辦理目錄是不是需求進行屏蔽,，其實這個可有可無,。在能確保網(wǎng)站安全的情況下,，若是你的網(wǎng)站運營規(guī)劃較小,，就算網(wǎng)站目錄呈現(xiàn)在robots.txt文件中，也沒有多大疑問,，這個我也見過許多網(wǎng)站這樣設置的;但若是你的網(wǎng)站運營規(guī)劃較大,，對手過多，強烈主張千萬別呈現(xiàn)網(wǎng)站后臺管理目錄的信息,，以防被心懷叵測的人使用,，危害你的利益;引擎越來越智能，關于網(wǎng)站的管理目錄仍是能極好的辨認,，并拋棄索引的,。別的，我們在做網(wǎng)站后臺的時分,，也能夠在頁面元標簽中增加：進行查找引擎的屏蔽抓取,。

四、robots.txt的基本語法

內容項的基本格式：鍵:值對。

1)User-Agent鍵

后面的內容對應的是各個具體的搜索引擎爬行器的名稱,。如百度是Baiduspider,，谷歌是Googlebot。

一般我們這樣寫：

User-Agent:*

表示允許所有搜索引擎蜘蛛來爬行抓取,。如果只想讓某一個搜索引擎蜘蛛來爬行,，在后面列出名字即可。如果是多個,，則重復寫,。

注意：User-Agent:后面要有一個空格。

在robots.txt中,，鍵后面加：號,，后面必有一個空格，和值相區(qū)分開,。

2)Disallow鍵

該鍵用來說明不允許搜索引擎蜘蛛抓取的URL路徑,。

例如：Disallow:/index.php禁止網(wǎng)站index.php文件

Allow鍵

該鍵說明允許搜索引擎蜘蛛爬行的URL路徑

例如：Allow:/index.php允許網(wǎng)站的index.php

通配符*

代表任意多個字符

例如：Disallow:/*.jpg網(wǎng)站所有的jpg文件被禁止了。

結束符$

表示以前面字符結束的url,。

例如：Disallow:/?$網(wǎng)站所有以?結尾的文件被禁止,。