> > 高性能LLMのCommand R＋はサイズが大きく、無圧縮だとファイルサイズは200GBを超えます。
> > 様々な段階の量子化されたものが公開されているのですが、最小のQ1モデルでも23.18GBの
> > サイズがあります。筆者が検証しているマシンでは、現Q1モデルでも、NVIDIA GeForce
> >  RTX 4090（GDDR6 24GB）搭載PCには格納しきれず、速度は遅くなります。NVIDIA RTX 
> > A6000（GDDR6 48GB）搭載PCでやっと動作しました。
> > きつすぎる(;´Д`)RAMがたりねえ
> スーパーコンピュータみたいにデカいDGXならメモリ1TB超えで余裕だよ(;´Д`)お値段1000万円以上だけど

はぁ(;´Д`)

参考：2024/05/24(金)14時45分13秒