2008年9月10日星期三
Taobao拒绝百度搜索爬虫的方法
robots.txt
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
订阅 博文 [Atom]
订阅 博文 [Atom]