2024/05/24 (金) 14:43:46        [misao]
高性能LLMのCommand R+はサイズが大きく、無圧縮だとファイルサイズは200GBを超えます。
様々な段階の量子化されたものが公開されているのですが、最小のQ1モデルでも23.18GBの
サイズがあります。筆者が検証しているマシンでは、現Q1モデルでも、NVIDIA GeForce
 RTX 4090(GDDR6 24GB)搭載PCには格納しきれず、速度は遅くなります。NVIDIA RTX 
A6000(GDDR6 48GB)搭載PCでやっと動作しました。

きつすぎる(;´Д`)RAMがたりねえ