コメの表面にゾロゾロ成虫が這っているような被害がひどい場合以外は、捨ててしまうなどもってのほかです。
水につければ被害粒は水に浮きますし、冷凍庫に２～３日入れておいても虫は死にます。
被害粒を除去した後の米を食べても毒があるわけでも変質しているわけでもなく、何も問題がありません。