7
使用V100,看起来显存一直是2~3G左右,速度也是100it/s左右 有办法进一步提升利用率吗?我看也没有batch_size相关的参数设置
使用V100,看起来显存一直是2~3G左右,速度也是100it/s左右 有办法进一步提升利用率吗?我看也没有batch_size相关的参数设置
与 #302 重复。batch_size虽然没有,但是infer的text参数可以是一个列表,这就相当于batch。至于性能,目前正在想办法解决。