1、robots協(xié)議是什么

robots協(xié)議也叫 robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器（又稱網(wǎng)絡(luò)蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。

2、robots協(xié)議怎么寫

因為一些系統(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫。

User-agent: *

Disallow:

allow:

'*'和'$'的含義

Baiduspider支持使用通配符'*'和'$'來模糊匹配url。

'$' 匹配行結(jié)束符。

'*' 匹配0或多個任意字符。

對于一般企業(yè)可以這樣的去寫，在Disallow掉不想被搜索引擎抓取的文件即可，比如我們的網(wǎng)站數(shù)據(jù)，圖片等等。

本文來源：徐州酷優(yōu)網(wǎng)絡(luò)科技有限公司

本文網(wǎng)址：https:///news/faq/2732.html

聲明，本站文章均為酷優(yōu)網(wǎng)絡(luò)原創(chuàng)或轉(zhuǎn)載，歡迎分享，轉(zhuǎn)載時請注明文章作者和“來源：徐州網(wǎng)站建設(shè)”并附本文鏈接