8
十个字使用GPU（T4卡），一个并发大概要1秒多，两个并发平均响应时间就要2秒到3秒，十个并发平均就要9秒多，GPU利用率只到了40%，有没有办法提高并发
Q
[2noise/ChatTTS]不支持高并发，如何提高并发下响应速度
A
回答
9
同问
8
使用vLLM（实验性）或开多个进程。