1
平均1.34it/s,这正常吗,怎么回事啊,显卡如下图: 推理的时候根本没占用gpu,这是什么问题啊?
平均1.34it/s,这正常吗,怎么回事啊,显卡如下图: 推理的时候根本没占用gpu,这是什么问题啊?
same here. It use so much CPU
我也一样,感觉就没使用GPU
CUDA版本太低了, pytorch 2.1.0+
只支持CUDA 11.8 or 12.1或以上
平均1.34it/s,这正常吗,怎么回事啊,显卡如下图: 推理的时候根本没占用gpu,这是什么问题啊?
平均1.34it/s,这正常吗,怎么回事啊,显卡如下图: 推理的时候根本没占用gpu,这是什么问题啊?
检查一下torch版本,需要用torch+cuda的版本
更新下显卡驱动,安装 cuda11.8+
预编译compile选项为True时, gpu就不工作了 @lich99
明明CUDA版本和torch是对应的,compile设置的也是false了,还是找不到gpu,这是怎么回事