以前看到系统log里有访问robots.txt失败的纪录，不知道怎么回事。这个网站讲Robots，原来除非你不 […]