2008年9月10日星期三

Taobao拒绝百度搜索爬虫的方法

robots.txt

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

标签:


评论: 发表评论

订阅 博文评论 [Atom]





<< 主页

This page is powered by Blogger. Isn't yours?

订阅 博文 [Atom]