やや旧聞だけど
robots.txtと図書館サイトの関係
http://takagi-hiromitsu.jp/diary/20100811.html

面白いなあ(;´Д`)