曾慶平SEO在前面的文章中講過robots.txt概念的時候，留下一個問題：為什么曾慶平SEO的robots.txt寫得那么復(fù)雜?

 

曾慶平SEO的robots.txt：http://www.***seo.com/robots.txt 這樣做的目的是，讓搜索引擎看來網(wǎng)站更規(guī)范和權(quán)威。

 

1、用robots.txt屏蔽相似的頁面或沒內(nèi)容的頁面。

 

 

我們知道，搜索引擎收錄網(wǎng)頁后，會對網(wǎng)頁進行“審核”，當網(wǎng)頁的相似度很高時2個頁面，搜索引擎會刪除其中一個。

 

假如以下這兩個鏈接，內(nèi)容其實差不多，所以第一個鏈接應(yīng)該屏蔽。 http://www.xxx.com/bbs/redirect.php?tid=5167&goto=lastpost#lastposthttp://www.xxx.com/bbs/thread-5167-1-1.html

 

第一個的鏈接非常多，屏蔽時，只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。代碼如：Disallow: /bbs/redirect.php?

 

類似這樣的頁面，沒有內(nèi)容，也應(yīng)該屏蔽：http://www.xxx.com/index.php?sid=247304&lang=zh&action=writecomment&id=77&artlang=zh 這樣的鏈接也很多，屏蔽時，只要屏蔽/index.php?sid= 就屏蔽了所有的。

 

代碼如：Disallow: /index.php?sid=

 

2、用robots.txt屏蔽多余的鏈接，當動態(tài)和靜態(tài)共存時，一般去掉動態(tài)的。

 

網(wǎng)站中經(jīng)常會存在多個鏈接指向同一個頁面，這種情況普遍存在時，會讓搜索引擎對網(wǎng)站的權(quán)威性產(chǎn)生懷疑。通過robots.txt把非主要的鏈接去掉。

 

 

假如以下兩個鏈接指向同樣的頁面，去掉次要的第一個。

 

http://www.xxx.com/space.php?username=曾慶平seo

 

http://www.xxx.com/space-uid-15.html

 

代碼如：Disallow: /space.php?username=

 

特別需要注意的是，首頁一般有這么幾個鏈接：www.yongfengseo.com www.yongfengseo.com/index.html 等，這個時候，不要屏蔽 index.html。因為如index.html index.php 等是默認首頁，屏蔽可能導(dǎo)致蜘蛛爬取錯亂。

 

咱們需要做的是，在給首頁做站內(nèi)外鏈接時，統(tǒng)一用不帶index.html 的http://www.yongfengseo.com/ 即可。這是URL標準化的概念。

 

 

3、用robots.txt屏蔽死鏈接。

 

死鏈接就是原來存在，后來因為改版或更新等緣故刪除了的鏈接和網(wǎng)頁。比如，原來在某個目錄(假設(shè)目錄為/tempweb/)下的所有鏈接，因為改版現(xiàn)在都變?yōu)樗梨溄恿?，可以?/span>robots.txt屏蔽。

 

代碼如：Disallow: /tempweb/

 

4、用robots.txt屏蔽可能存在的“被K”外部鏈接。

 

很多網(wǎng)站允許用戶放自己的網(wǎng)站鏈接，但因為過多的“被K”外部鏈接可能連累自己。所以，很多把所有外部鏈接放入一個鏈接目錄下，然后通過robots.txt統(tǒng)一屏蔽。

 

如果你對Disallow:的具體操作辦法不是很清楚，你可以從這里了解我之前發(fā)布的robots文章。

 

本文來自微信公眾號：平哥SEO優(yōu)化(qingpingseo) 原文鏈接：http://www.yongfengseo.com

本文來源：徐州酷優(yōu)網(wǎng)絡(luò)科技有限公司

本文網(wǎng)址：https:///pinghushi/2087.html

聲明，本站文章均為酷優(yōu)網(wǎng)絡(luò)原創(chuàng)或轉(zhuǎn)載，歡迎分享，轉(zhuǎn)載時請注明文章作者和“來源：徐州網(wǎng)站建設(shè)”并附本文鏈接