[THUDM/ChatGLM-6B][BUG/Help] <我不得不说> 在配置不错的情况下，运行也慢，官方 demo respone 也是空的

配置：

RTX 3090，显存 24G

12核 CPU

内存：43G

运行 api.py。回答很慢，最后回答出的内容，还是空的。respone 空

在配置可以的情况下，速度快一些。内容能出来

clone 项目并配置好一切；
运行 api.py
去进行模拟请求

- OS:Ubuntu 20.04
- Python: 3.8
- Transformers: 4.27.1
- PyTorch: 1.12
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : True

af913337456

应该是计算中出现了NaN。你的 CUDA 版本是多少？

duzx16

@duzx16 如下。

af913337456

自己写websocket接口吧，参考text gen webui

wfuqiang1982

@duzx16 如下。

root@autodl-container-bf3b118d52-9a3a8d5f:~/autodl-tmp# nvidia-smi Fri Apr 28 16:32:08 2023 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 515.65.01 Driver Version: 515.65.01 CUDA Version: 11.7 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |===============================+======================+======================| | 0 NVIDIA GeForce ... On | 00000000:8A:00.0 Off | N/A | | 0% 26C P8 18W / 350W | 12821MiB / 24576MiB | 0% Default | | | | N/A | +-------------------------------+----------------------+----------------------+

@duzx16

af913337456

@duzx16

af913337456

我这里 windows 11下 80GB内存， GTX1080ti 11GB，Driver Version: 531.61, CUDA Version: 12.1，跑官方的web_demo.py, 量化8bit，感觉速度还可以。

shirubei

我这里 windows 11下 80GB内存， GTX1080ti 11GB，Driver Version: 531.61, CUDA Version: 12.1，跑官方的web_demo.py, 量化8bit，感觉速度还可以。

good 的

af913337456

3090 还可以的。我这里也是用的3090 ，完全没有问题。

cywjava