高性能LLMのCommand R+はサイズが大きく、無圧縮だとファイルサイズは200GBを超えます。 様々な段階の量子化されたものが公開されているのですが、最小のQ1モデルでも23.18GBの サイズがあります。筆者が検証しているマシンでは、現Q1モデルでも、NVIDIA GeForce RTX 4090(GDDR6 24GB)搭載PCには格納しきれず、速度は遅くなります。NVIDIA RTX A6000(GDDR6 48GB)搭載PCでやっと動作しました。 きつすぎる(;´Д`)RAMがたりねえ