您當(dāng)前的位置是：首頁(yè)->做網(wǎng)站知識(shí)->做網(wǎng)站

巧用robots.txt來(lái)做網(wǎng)站優(yōu)化

首發(fā): 長(zhǎng)沙快付版權(quán)所有,未經(jīng)許可嚴(yán)禁轉(zhuǎn)載

　　現(xiàn)如今人們做網(wǎng)站都是使用的開源的網(wǎng)站程序，而dz或者wp之類的程序或多或少都會(huì)有一定的漏洞，合理的解決里面的漏洞會(huì)讓我們的網(wǎng)站的收錄提高好幾倍，因?yàn)榘俣冉o予一個(gè)網(wǎng)站的抓取配額是有限的。長(zhǎng)沙做網(wǎng)站建議大家巧用robots.txt來(lái)做網(wǎng)站優(yōu)化。

　　站內(nèi)的動(dòng)態(tài)鏈接

　　靜態(tài)頁(yè)面一般情況下比動(dòng)態(tài)的頁(yè)面好收錄，在排名方面也比較有優(yōu)勢(shì)（唯一的缺點(diǎn)就是占用網(wǎng)站資源較大），像dz程序我們一般都把它設(shè)置成偽靜態(tài)，那么在這個(gè)時(shí)候就非常容易出現(xiàn)靜態(tài)和動(dòng)態(tài)頁(yè)面共存的情況，我們都要把靜態(tài)頁(yè)面徹底屏蔽掉。

　　在robots協(xié)議中有一個(gè)命令Disallow:xx，這個(gè)命令就是告訴蜘蛛（不分百度和其他搜索引擎）不要抓取我所指定的頁(yè)面，對(duì)于偽靜態(tài)網(wǎng)站來(lái)說(shuō)我們肯定不希望收錄動(dòng)態(tài)的頁(yè)面（因?yàn)閮煞N頁(yè)面共存，就會(huì)導(dǎo)致重復(fù)頁(yè)面過多，會(huì)有降權(quán)的風(fēng)險(xiǎn)哦！），我們?cè)谶@里可以使用Disallow: /*?*命令，這個(gè)命令就是指不抓取網(wǎng)站中所有的的動(dòng)態(tài)鏈接。

　　死鏈接或者無(wú)用的鏈接

　　如果我們的網(wǎng)站由于失誤導(dǎo)致了很多的死鏈接，雖然我們可以使用百度站長(zhǎng)工具把死鏈接刪除掉，但是蜘蛛爬取的路線在短時(shí)間內(nèi)不會(huì)改變，這個(gè)時(shí)候我們可以使用robots來(lái)把站內(nèi)的死鏈接全部屏蔽掉，例如：Disallow: /a/jiaocheng/。

　　robots.txt文件命令大全

　　首先我們必須要在網(wǎng)站的根目錄下面創(chuàng)建一個(gè)robots.txt的文件，然后依照命令來(lái)寫就可以了。

　　1、允許所有搜索引擎訪問

　　User-agent: *

　　Disallow:

　　或者

　　User-agent: *

　　Allow: /

　　2、禁止所有搜索引擎訪問

　　User-agent: *

　　Disallow: /

　　或者

　　User-agent: *

　　allow:

　　3、禁止所有搜索引擎訪問網(wǎng)站中的幾個(gè)部分，在這里我用a、b、c目錄來(lái)代替

　　User-agent: *

　　Disallow: /a/

　　Disallow: /b/

　　Disallow: /c/

　　如果是允許，則是

　　Allow: /a/

　　Allow: /b/

　　Allow: /c/

　　4、禁止某個(gè)搜索引擎的訪問，我用w來(lái)代替

　　User-agent: w

　　Disallow: /

　　或

　　User-agent: w

　　Disallow: /d/*.htm

　　在Disallow:后面加 /d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL，包含子目錄。

　　5、只允許某個(gè)搜索引擎的訪問，我用e來(lái)代替

　　User-agent: e

　　Disallow:

　　在Disallow：后面不加任何東西，意思是僅允許e訪問該網(wǎng)站。

　　6、使用”$”限制訪問url

　　User-agent: *

　　Allow: .htm$

　　Disallow: /

　　意思是僅允許訪問以”.htm”為后綴的URL

　　7、禁止訪問網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面

　　User-agent: *

　　Disallow: /*?*

　　8、禁止搜索引擎F抓取網(wǎng)站上所有圖片

　　User-agent: F

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .gif$

　　Disallow: .png$

　　Disallow: .bmp$

　　意思是只允許引擎抓取網(wǎng)頁(yè)，禁止抓取任何圖片（嚴(yán)格來(lái)說(shuō)，是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。）

　　9、只允許搜索引擎E抓取網(wǎng)頁(yè)和.gif格式圖片

　　User-agent: E

　　Allow: .gif$

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .png$

　　Disallow: .bmp$

　　意思是只允許抓取網(wǎng)頁(yè)和gif格式圖片，不允許抓取其他格式圖片

　　長(zhǎng)沙做網(wǎng)站總結(jié)：合理的使用robots命令可以使網(wǎng)站更快的展現(xiàn)在搜索引擎中。

最新簽約客戶
最新上線網(wǎng)站

為什么選擇長(zhǎng)沙快付公司？

√ 8年專業(yè)做網(wǎng)站經(jīng)驗(yàn)
幫助您解決各種需求，并得到滿意方案

√ 效果滿意后付款
預(yù)付30%定金，效果讓您滿意后，付全款

√ 資深用戶體驗(yàn)設(shè)計(jì)師
秉承"一切以用戶價(jià)值為依歸"理念，重視用戶體驗(yàn)，專為企業(yè)需求進(jìn)行定制

√ 采用國(guó)際標(biāo)準(zhǔn)結(jié)構(gòu)建站
DIV+CSS國(guó)際標(biāo)準(zhǔn)構(gòu)建網(wǎng)頁(yè)，可有效提高網(wǎng)站訪問速度、提高網(wǎng)站頁(yè)面的可維護(hù)

√ 實(shí)現(xiàn)網(wǎng)絡(luò)營(yíng)銷[SEO]最大化
網(wǎng)站程序中融入SEO，有效降低企業(yè)成本