> > ネットの検索ロボットみたいな香具師が単語を集めてきて
> > どこいつのトロみたいな感じで反応するような
> > 文章の作成もネット上の文体とかから判断していろいろかき集めて
> > 来るような
> > ってのは面白そうと思ったがかなり無謀だな
> そこで大事なのが単語の切れ目を見分ける方法。
> 俺が作ったやつでは、ただ単に助詞になりそうなひらがなを切れ目にしてたよ。
> そんなやり方だとろくなデータが取りだせないから、このデータは決して誰にも見せない。
> プログラムの内部だけで使うデータとした。

Kakashiとかchasenとかがそのあたりを作ってくれるﾌﾟﾛｸﾞﾗﾑだったりするな
漏れは詳しく見てないんだが、もしかしたら参考になるかな

参考：2001/10/13(土)03時08分52秒