欧美成人69-欧美成人aaaa免费高清-欧美成人aaa大片-欧美成人xxxx-大杳蕉伊人狼人久久一本线-大又大粗又爽又黄少妇毛片

robots.txt的常見(jiàn)寫(xiě)法

禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分：
User-agent: *
Disallow: /
允許所有的robot訪問(wèn)
User-agent: *
Disallow:
或者你也可以建一個(gè)空文件:robots.txt
禁止所有搜索引擎訪問(wèn)網(wǎng)站的幾個(gè)部分（如下例中的cgi-bin、tmp、private目錄）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
禁止某個(gè)搜索引擎的訪問(wèn)（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允許某個(gè)搜索引擎的訪問(wèn)（下例中的WebCrawler）
User-agent: WebCrawler
Disallow:
下面是一些著名站點(diǎn)的robots.txt，你也可以參考他們的寫(xiě)法。
http://www.google.com/robots.txt
http://www.ibm.com/robots.txt
http://www.sun.com/robots.txt
http://www.baidu.com/robots.txt

常見(jiàn)搜索引擎Robots名字

Baiduspider http://www.baidu.com
Googlebot http://www.google.com
Scooter http://www.altavista.com
ia_archiver http://www.alexa.com
Inktomi Slurp http://www.yahoo.com
FAST-WebCrawler http://www.alltheweb.com
MSNbot http://search.msn.com