大家都知道百度蜘蛛(Baiduspider)爬蟲對(duì)網(wǎng)站的爬取對(duì)于網(wǎng)站的收錄和索引有很大幫助,，甚至能夠快速在百度首頁(yè)通過(guò)關(guān)鍵詞搜索直達(dá)您的網(wǎng)站，但也并不是所有的百度蜘蛛都是對(duì)權(quán)重有幫助的,，但是了解百度蜘蛛的爬行對(duì)于我們了解網(wǎng)站的還是非常有幫助,，特別是對(duì)于做網(wǎng)站SEO優(yōu)化，能夠制定更合適的優(yōu)化方案,。
要了解百度蜘蛛就要學(xué)會(huì)進(jìn)行網(wǎng)站日志分析,，因?yàn)榫W(wǎng)站的每一個(gè)正常訪問(wèn)都會(huì)留下被網(wǎng)站日志記錄下來(lái)，下面一起邊分析日志邊列舉了百度不同IP段常見(jiàn)蜘蛛的一些情況介紹,，及所謂的降權(quán)蜘蛛,，沙盒蜘蛛，高權(quán)重蜘蛛說(shuō)明等等,。
百度蜘蛛(Baiduspider)爬取
是搜索引擎獲得頁(yè)面內(nèi)容的一個(gè)重要的途徑,，通過(guò)蜘蛛的抓取可以得到一個(gè)頁(yè)面的最主要的內(nèi)容從而收錄百度數(shù)據(jù)庫(kù)系統(tǒng)，每次抓取之后都會(huì)再與數(shù)據(jù)庫(kù)原有的信息進(jìn)行比對(duì),，來(lái)確定頁(yè)面的總體質(zhì)量,。
那么，每當(dāng)蜘蛛來(lái)抓取的時(shí)候都會(huì)被網(wǎng)站日志文件記錄下來(lái),，具體包括抓取時(shí)間，抓取的頁(yè)面以及蜘蛛來(lái)路IP地址,，上次說(shuō)到百度蜘蛛(Baiduspider)ip來(lái)路基本能夠反映出不同蜘蛛對(duì)站點(diǎn)不同頁(yè)面的喜好程度,，從側(cè)面也反映出整個(gè)網(wǎng)站不同頁(yè)面的權(quán)重值，通過(guò)自己一系列的分析,，可以較為準(zhǔn)確的評(píng)估整站的權(quán)重分布,，對(duì)于seo、文章內(nèi)容價(jià)值,、用戶體驗(yàn)都起到很好的參考價(jià)值,。
經(jīng)常聽(tīng)到站長(zhǎng)們問(wèn)，百度蜘蛛是什么?最近百度蜘蛛來(lái)的太頻繁服務(wù)器抓爆了,，最近百度蜘蛛都不來(lái)了怎么辦,，還有很多站點(diǎn)想得到百度蜘蛛的IP段，想把IP加入白名單,，但I(xiàn)P不固定,，我們無(wú)法對(duì)外公布。
那怎么才能識(shí)別正確的百度蜘蛛呢?來(lái)來(lái)來(lái),，只需兩步,，教你正確識(shí)別百度蜘蛛
1、查看UA,，如果UA都不對(duì),，可以直接判斷非百度搜索的蜘蛛,，目前對(duì)外公布過(guò)的UA是：
移動(dòng)UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
新增渲染UA:
移動(dòng)UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
2、反查IP
站長(zhǎng)可以通過(guò)DNS反查IP的方式判斷某只spider是否來(lái)自百度搜索引擎,。根據(jù)平臺(tái)不同驗(yàn)證方法不同,，如linux/windows/os三種平臺(tái)下的驗(yàn)證方法分別如下：
1)、在linux平臺(tái)下,，您可以使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取,。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充,。
2),、在windows平臺(tái)或者IBM OS/2平臺(tái)下，您可以使用nslookup ip命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取,。打開(kāi)命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip,， 來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,，非 *.baidu.com 或 *.baidu.jp 即為冒充,。
3)、 在mac os平臺(tái)下,，您可以使用dig 命令反解ip來(lái) 判斷是否來(lái)自Baiduspider的抓取,。打開(kāi)命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip， 來(lái)判斷是否來(lái)自Baiduspider的抓取,，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,，非 *.baidu.com 或 *.baidu.jp 即為冒充。
下面的百度蜘蛛IP造訪,，準(zhǔn)備抓取你東西,，抓取網(wǎng)頁(yè)的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*
百度競(jìng)價(jià)蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
(百度聯(lián)盟爬蟲),，說(shuō)白了就是百度統(tǒng)計(jì),。
61.135.186.*
站長(zhǎng)工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
114站長(zhǎng)工具箱(這個(gè)是你的網(wǎng)站不穩(wěn)定時(shí)常來(lái)的)
119.147.114.213
121.10.141.*
百度圖片爬蟲
123.15.**.**
這個(gè)蜘蛛經(jīng)常來(lái),別的來(lái)的少,表示網(wǎng)站可能要進(jìn)入沙盒了,，或被者降權(quán),。
123.125.68.*
抓取內(nèi)頁(yè)收錄的，權(quán)重較低,，爬過(guò)此段的內(nèi)頁(yè)文章暫時(shí)被收錄但不放出來(lái)(意思也就是說(shuō)待定),，因不是原創(chuàng)或采集文章。(百度網(wǎng)頁(yè)爬蟲(百度圖片爬蟲)
123.125.71.*
搜外站長(zhǎng)工具蜘蛛,。
124.248.34.52
也屬于百度蜘蛛IP 主要造成成分,，是新上線站較多，還有使用過(guò)站長(zhǎng)工具,，或SEO綜合檢測(cè)造成的,，沒(méi)有多大用,。 125.90.88.*
百度蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107
偽裝百度蜘蛛IP
180.149.130.*
這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正常現(xiàn)象后,。
183.91.40.144
203.208.60.*
這個(gè)ip段不間斷巡邏各站,，就是路過(guò)一下。
210.72.225.*
每天這個(gè)IP 段只增不減很有可能進(jìn)沙盒或K站
218.30.118.102
220.181.68.*
123.125.68.*
220.181.68.*
主要是抓取首頁(yè)占80%,，內(nèi)頁(yè)占30%,，這此爬過(guò)的文章或首頁(yè)，絕對(duì)24小時(shí)內(nèi)放出來(lái)和隔夜快照的!一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網(wǎng)站沒(méi)更新,，蜘蛛來(lái)過(guò),，如果是 200 0 64別擔(dān)心這不是K站，可能是網(wǎng)站是動(dòng)態(tài)的,，所以返回就是這個(gè)代碼,。
220.181.108.*
代表百度蜘蛛IP來(lái)訪準(zhǔn)備抓取你東西
220.181.7.*
123.125.66.*
這個(gè)ip段作為度過(guò)新站考察期
121.14.89.*
這個(gè)ip段出現(xiàn)在新站或站點(diǎn)有不正常現(xiàn)象后
203.208..60.*
這個(gè)ip段不間斷巡邏各站
210.72.225.*
這個(gè)是百度抓取首頁(yè)的專用IP如是220.181.108段的ip來(lái)的話基本來(lái)說(shuō)網(wǎng)站會(huì)天天隔夜快照,，絕對(duì)錯(cuò)不了的
220.181.108.95
98%抓取首頁(yè)可能還會(huì)抓取其他「不是指內(nèi)頁(yè))屬于權(quán)重IP段此段爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái).
220.181.108.92
抓取內(nèi)頁(yè)收錄的 權(quán)重較低 爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái),因不是原創(chuàng)或采集文章
123.125.71.106
屬于綜合的,。主要抓取首頁(yè)和內(nèi)頁(yè)或者其它頁(yè)面。屬于權(quán)重IP段, 抓過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)
220.181.108.91
重點(diǎn)抓取更新文章的內(nèi)頁(yè)達(dá)到90%,8%的抓取首頁(yè),2%其他權(quán)重ip段,抓過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)
220.181.108.75
專用抓取首頁(yè)ip 權(quán)重段,一般返回代碼304 0 0代表未更新
220.181.108.86
抓取內(nèi)頁(yè)收錄的,，權(quán)重較低,，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái),因不是原創(chuàng)
123.125.71.95
123.125.71.97
專用抓取首頁(yè)ip 權(quán)重段,一般返回代碼304 0 0代表未更新
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77
抓取內(nèi)頁(yè)收錄的， 權(quán)重較低,爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái),因不是原創(chuàng)
123.181.108.77
專用抓取首頁(yè)ip 權(quán)重段,一般返回代碼304 0 0代表未更新
220.181.108.83
附錄百度蜘蛛IP地址
123.125.68.* 這個(gè)蜘蛛經(jīng)常來(lái),別的來(lái)的少,表示網(wǎng)站可能要進(jìn)入沙盒了,，或被者降權(quán),。
220.181.68.* 每天這個(gè)IP段只增不減很有可能進(jìn)沙盒或K站。
220.181.7.*,、123.125.66.* 代表百度蜘蛛IP造訪，準(zhǔn)備抓取你東西,。
121.14.89.* 這個(gè)ip段作為度過(guò)新站考察期,。
203.208.60.*這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正常現(xiàn)象后,。
210.72.225.*這個(gè)ip段不間斷巡邏各站,。
125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP主要造成成分，是新上線站較多,，還有使用過(guò)站長(zhǎng)工具,，或SEO綜合檢測(cè)造成的。
220.181.108.95這個(gè)是百度抓取首頁(yè)的專用IP,，如是220.181.108段的話,，基本來(lái)說(shuō)你的網(wǎng)站會(huì)天天隔夜快照。(悲劇的我竟然屏蔽了這個(gè)IP)
220.181.108.92同上98%抓取首頁(yè),，可能還會(huì)抓取其他(不是指內(nèi)頁(yè))220.181段屬于權(quán)重IP段此段爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái),。(嗯,，還有這個(gè)也屏蔽了，暈死了!)
123.125.71.106抓取內(nèi)頁(yè)收錄的,，權(quán)重較低,，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章,。(這個(gè)也有,，汗!)
220.181.108.91屬于綜合的，主要抓取首頁(yè)和內(nèi)頁(yè)或其他,，屬于權(quán)重IP段,，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。
220.181.108.75重點(diǎn)抓取更新文章的內(nèi)頁(yè)達(dá)到90%,，8%抓取首頁(yè),，2%其他。權(quán)重IP段,，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái),。(這個(gè)，……!)
220.181.108.86專用抓取首頁(yè)IP權(quán)重段,，一般返回代碼是30400代表未更新,。(還有這個(gè)……)
123.125.71.95抓取內(nèi)頁(yè)收錄的，權(quán)重較低,，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái),，因不是原創(chuàng)或采集文章。
123.125.71.97抓取內(nèi)頁(yè)收錄的,，權(quán)重較低,，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章,。
220.181.108.89專用抓取首頁(yè)IP權(quán)重段,，一般返回代碼是30400代表未更新。(好吧,，220開(kāi)頭的好像都被我屏蔽了,，下手真心有點(diǎn)兒太狠了!)
220.181.108.94專用抓取首頁(yè)IP權(quán)重段，一般返回代碼是304 0 0 代表未更新,。
220.181.108.97專用抓取首頁(yè)IP權(quán)重段,，一般返回代碼是304 0 0 代表未更新。
220.181.108.80專用抓取首頁(yè)IP權(quán)重段,，一般返回代碼是304 0 0 代表未更新,。
220.181.108.77專用抓首頁(yè)IP權(quán)重段，一般返回代碼是304 0 0 代表未更新。
123.125.71.117抓取內(nèi)頁(yè)收錄的,，權(quán)重較低,，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或是采集文章,。
注：以上IP尾數(shù)還有很多,，但段位一樣的123.125.71.*段IP代表抓取內(nèi)頁(yè)收錄的權(quán)重比較低，可能由于你采集文章或拼文章暫時(shí)被收錄但不放出來(lái).,。
220.181.108.83專用抓取首頁(yè)IP權(quán)重段,，一般返回代碼是304 0 0 代表未更新。
220.181.108.*段IP主要是抓取首頁(yè)占80%,，內(nèi)頁(yè)占30%,，這此爬過(guò)的文章或首頁(yè)，絕對(duì)24小時(shí)內(nèi)放出來(lái)和隔夜快照的!
一般成功抓取返回代碼都200,，返回304代表網(wǎng)站沒(méi)更新,。
【DZ案例分析】
之前和大家分享過(guò)discuz蜘蛛爬行記錄插件的安裝，在蜘蛛爬行記錄的那個(gè)插件里,，并不是所有過(guò)來(lái)的百度蜘蛛都是百度的,，其他搜索引擎也可以偽裝成百度的IP段，所以現(xiàn)在就和大家來(lái)探討百度常見(jiàn)的IP段有哪些!
例如：
在張圖片的記錄中117.28.255.37點(diǎn)前面雖然寫的是百度,，其實(shí)并不是百度蜘蛛的IP段,，以下是常見(jiàn)的百度蜘蛛IP段：
根據(jù)不同的IP我們可以分析網(wǎng)站是個(gè)怎樣的狀態(tài).下面 就按照IIS日記上的百度蜘蛛IP為例:123.125.68.*這個(gè)蜘蛛經(jīng)常來(lái),別的來(lái)的少,表示網(wǎng)站可能要進(jìn)入沙盒了，或被者降權(quán),。
220.181.68.*每天這個(gè)IP 段只增不減很有可能進(jìn)沙盒或K站,。
220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪,，準(zhǔn)備抓取你東西,。
121.14.89.*這個(gè)ip段作為度過(guò)新站考察期。
203.208.60.*這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正?，F(xiàn)象后,。
210.72.225.*這個(gè)ip段不間斷巡邏各站。
125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP 主要造成成分,，是新上線站較多,，還有使用過(guò)站長(zhǎng)工具,，或SEO綜合檢測(cè)造成的,。
220.181.108.95這個(gè)是百度抓取首頁(yè)的專用IP，如是220.181.108段的話,，基本來(lái)說(shuō)你的網(wǎng)站會(huì)天天隔夜快照,，絕對(duì)錯(cuò)不了的，我保證,。
220.181.108.92 同上98%抓取首頁(yè),，可能還會(huì)抓取其他 (不是指內(nèi)頁(yè))220.181段屬于權(quán)重IP段此段爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái),。
123.125.71.106 抓取內(nèi)頁(yè)收錄的，權(quán)重較低,，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái),，因不是原創(chuàng)或采集文章。
220.181.108.91屬于綜合的,，主要抓取首頁(yè)和內(nèi)頁(yè)或其他,，屬于權(quán)重IP 段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái),。
220.181.108.75重點(diǎn)抓取更新文章的內(nèi)頁(yè)達(dá)到90%,，8%抓取首頁(yè)，2%其他,。權(quán)重IP 段,，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。
220.181.108.86專用抓取首頁(yè)IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新,。
123.125.71.95 抓取內(nèi)頁(yè)收錄的，權(quán)重較低,，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái),，因不是原創(chuàng)或采集文章。
123.125.71.97 抓取內(nèi)頁(yè)收錄的,，權(quán)重較低,，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章,。
220.181.108.89專用抓取首頁(yè)IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新。
220.181.108.94專用抓取首頁(yè)IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新,。
220.181.108.97專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新,。
220.181.108.80專用抓取首頁(yè)IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新。
220.181.108.77 專用抓首頁(yè)IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新,。
123.125.71.117 抓取內(nèi)頁(yè)收錄的，權(quán)重較低,，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái),，因不是原創(chuàng)或采集文章。
220.181.108.83專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新,。
注：以上IP尾數(shù)還有很多,，但段位一樣的123.125.71.*段IP 代表抓取內(nèi)頁(yè)收錄的權(quán)重比較低.可能由于你采集文章或拼文章暫時(shí)被收錄但不放出來(lái).(意思也就是說(shuō)待定)。
220.181.108.*段IP主要是抓取首頁(yè)占80%,，內(nèi)頁(yè)占30%,，這此爬過(guò)的文章或首頁(yè)，絕對(duì)24小時(shí)內(nèi)放出來(lái)和隔夜快照的,，這點(diǎn)我可以保證.
