3
linux操作系统，使用CPU布署，运行cli_demo出来提示后，卡住不回答是怎么回事儿？
linux系统； cpu布署
Environment- OS:centos
- Python:3.10.9
- Transformers:默认
- PyTorch:1.13.1
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :Q
[THUDM/ChatGLM-6B][BUG/Help] linux系统，使用cpu，系统运行后卡住不回答是怎么回事儿？
A
回答
5
看看你的内存- -，我遇到过还有一种可能是访问gradio的网址，会因为墙的因素丢包导致回答在UI上卡住。
5
我也有这个问题，不是web的方式，就是cli_demo.py方式
8
如果没有报错。看起来就是卡住了的样子。 那么，百分之95 是cpu模式吧。应为太慢了。睡一觉起来，就有回复了。。。。
1
如果没有报错。看起来就是卡住了的样子。那么，百分之九十五是cpu模式吧。应该为太慢了。睡一觉起来，就有恢复了。。。。
torch.cuda.is_available()输出的是true，是GPU模式
2
解决了，是内存不够。运行INT4就没问题