> > 阿呆なブラウザが自動でrobots.txtを取りに行く挙動に見えるな
> > そのアホブラウザを弾けばよい
> ただのfirefoxじゃないのか(;´Д`)偽装してる変なﾂｰﾙだったりするのかね

普通ブラウザはrobots.txtにアクセスしないんだよ

参考：2017/09/26(火)23時26分28秒