一本一道久久a久久精品综合蜜臀,亚洲日韩激情一区二区,国产国产东北刺激毛片对白,国产精品三级一区二区,91久久精品日日躁夜夜躁欧美
您當(dāng)前的位置主頁(yè) > SEO優(yōu)化 > 瀏覽文章

關(guān)于WordPress的robots.txt文件的那些事

來(lái)源:SEO優(yōu)化 2012-09-25

快速提升網(wǎng)站銷(xiāo)量,使用365webcall網(wǎng)頁(yè)客服系統(tǒng)

安裝完wordpress站點(diǎn)后關(guān)于robots.txt文件的書(shū)寫(xiě)一直煩惱著很多站長(zhǎng),Robots.txt文件協(xié)議又叫搜索引擎機(jī)器人協(xié)議,搜索引擎爬蟲(chóng)在爬取網(wǎng)站的時(shí)候,首先會(huì)看網(wǎng)站根目錄下是否有robots.txt文件,然后遵循robots.txt協(xié)議爬取網(wǎng)站主希望搜索引擎爬取的內(nèi)容。robots.txt文件意在告訴搜索引擎爬蟲(chóng)哪些頁(yè)面可以爬取,哪些頁(yè)面不能爬取,可以有效的保護(hù)用戶(hù)的隱私,同時(shí)也有利于節(jié)省蜘蛛的帶寬,從而讓蜘蛛爬取更加容易,促進(jìn)收錄。

先來(lái)簡(jiǎn)單的說(shuō)下robots.txt文件的規(guī)則:

1、允許所有的搜索引起爬取任何內(nèi)容

User-agent: *

Disallow:

這個(gè)意思就是允許所有的搜索引擎爬取所有的頁(yè)面,雖然Disallow是不允許的意思,但是后面是放空狀態(tài),這意思是沒(méi)有不允許爬取的頁(yè)面。

2、屏蔽其中一種或者幾種搜索引擎的爬取,以最近比較火的360綜合搜索為例

User-agent: 360spider

Disallow: /

User-agent:*

Disallow:

前兩行的意思是不允許360綜合搜索蜘蛛爬取任何頁(yè)面,后面的解釋見(jiàn)第一點(diǎn)。同理,如果除了屏蔽360綜合搜索也想屏蔽百度蜘蛛,那就在開(kāi)頭繼續(xù)添加。

3、不允許搜索引擎抓取其中的某些頁(yè)面,這邊以不允許所有搜索引擎爬取wordpress的管理后臺(tái)頁(yè)面為例

User-agent:*

Disallow:/wp-admin/

我們都知道,wordpress的管理后臺(tái)在根目錄下的wp-admin文件夾里面,在disallow后面加上/wp-admin的意思就是不允許搜索引擎蜘蛛爬取。

至于不允許百度爬取后臺(tái),允許其他搜索引擎爬取后臺(tái),或者不允許360綜合搜索爬取后臺(tái),允許其他搜索引擎爬取后臺(tái)等等組合,請(qǐng)參考以上三點(diǎn)內(nèi)容進(jìn)行組合。

回歸正題,再來(lái)說(shuō)下wordpress的robots.txt文件書(shū)寫(xiě),其實(shí)wordpress的robots文件很簡(jiǎn)單,主要看3個(gè)要點(diǎn):

1、網(wǎng)站后臺(tái)不要蜘蛛爬取

首先設(shè)置不讓搜索引擎抓取wordpress后臺(tái)頁(yè)面,這幾乎是每個(gè)站長(zhǎng)設(shè)置robots.txt文件首要的目的,不僅局限于wordpress,當(dāng)然,不同的類(lèi)型網(wǎng)站后臺(tái)頁(yè)面所在頁(yè)面的文件夾名稱(chēng)不一樣。

2、靜態(tài)化后,動(dòng)態(tài)url不要蜘蛛爬取

wordpress的url最好還是靜態(tài)化下,因?yàn)檫^(guò)多的動(dòng)態(tài)參數(shù)不利于蜘蛛的爬取。但很多站長(zhǎng)在靜態(tài)化url之后,每次發(fā)布文章時(shí),搜索引擎收錄總會(huì)同時(shí)收錄靜態(tài)的url和動(dòng)態(tài)的url,這樣明顯會(huì)導(dǎo)致文章頁(yè)面權(quán)重的分散,而且會(huì)導(dǎo)致重復(fù)頁(yè)面過(guò)多最終受到搜索引擎的懲罰,其實(shí)避免這種情況的方法很簡(jiǎn)單,那就是在robots.txt文件里面設(shè)置,讓蜘蛛不爬取動(dòng)態(tài)url,這樣動(dòng)態(tài)的url就不會(huì)被百度收錄。

3、結(jié)尾加上x(chóng)ml格式的網(wǎng)站地圖

在robots.txt的結(jié)尾加上網(wǎng)站地圖,可以讓網(wǎng)站地圖在蜘蛛爬取網(wǎng)站的時(shí)候第一時(shí)間被抓取,更利于頁(yè)面的收錄。

于是,最簡(jiǎn)單的wordpress的robots.txt的書(shū)寫(xiě)如下

User-agent:*

Disallow:/wp-admin/

Disallow:/*?*

#這意思是不抓取中包含?的url,動(dòng)態(tài)url特征是有?#

Sitemap:/archives/578 ,謝謝。

文章編輯: 365webcall網(wǎng)頁(yè)客服(www.365webcall.com)

我的評(píng)論

登錄賬號(hào): 密碼: 快速注冊(cè) | 找回密碼

一本一道久久a久久精品综合蜜臀,亚洲日韩激情一区二区,国产国产东北刺激毛片对白,国产精品三级一区二区,91久久精品日日躁夜夜躁欧美