> 高性能LLMのCommand R＋はサイズが大きく、無圧縮だとファイルサイズは200GBを超えます。
> 様々な段階の量子化されたものが公開されているのですが、最小のQ1モデルでも23.18GBの
> サイズがあります。筆者が検証しているマシンでは、現Q1モデルでも、NVIDIA GeForce
>  RTX 4090（GDDR6 24GB）搭載PCには格納しきれず、速度は遅くなります。NVIDIA RTX 
> A6000（GDDR6 48GB）搭載PCでやっと動作しました。
> きつすぎる(;´Д`)RAMがたりねえ

スーパーコンピュータみたいにデカいDGXならメモリ1TB超えで余裕だよ(;´Д`)お値段1000万円以上だけど

参考：2024/05/24(金)14時43分46秒