> > 小町は.htaccessとrobot.txtで弾いてないのか
> robot.txtは本当に機能してるのか疑わしいよ(;´Д`)

htaccessでrobot.txtは対象から外しておかないと駄目だぞ(;´Д`)
まともなｻｰﾁｴﾝｼﾞﾝはちゃんと見てるからそれ以外をhtaccessで弾く感じ

参考：2008/02/16(土)01時02分52秒