以前看到系统log里有访问robots.txt失败的纪录，不知道怎么回事。这个网站讲Robots，原来除非你不想让一些robots索引你，你不需要做什么。
但如果你恰好有秘密内容，不想被索引，你就需要了解它了。这个网站上做了详细的说明。如果你不是服务器管理员，你也可以通过HTML META tag的手段防止被索引。该网站上面还有一个Web Robots Database。