robots.txt ファイルは、そのサイトのトップに置かなくてはなりません。

○ http://www.xxx.zzz/robots.txt
× http://www.xxx.zzz/~tohoho/robots.txt

そーなのかー