8
目前4090显卡只有24GB内存，如果尝试加载Vicuna-13B模型可能会出现内存不足，能否在一块主板上插上两块4090显卡，使得两块显卡的内存合并使用？
Q
[Vision-CAIR/MiniGPT-4]请问如果一台主机上使用两块RTX 4090显卡，使用Pytorch加载Vicuna-13B模型，是否能将内存分配在两块显卡上？
A
回答
6
是的，可以使用2张4090来部署Vicuna-13B模型，看到网上介绍说Vicuna-13B需要28G显存。 示例命令： 参考连接：https://github.com/lm-sys/FastChat python3 -m fastchat.serve.cli --model-path /path/to/model/weights --num-gpus 2
6
@Yangzhihuabeijing 可是使用多张显卡训练吗，比如4张T4训练