readme给出的最小demo示例是无法跑通的，response返回的总是空的，已经有不少人遭遇了同样的问题，并且提过issue，但没有人解答。这个基础的bug预计何时修复？
Environment- OS: any
- Python:any
- Transformers:any
- PyTorch:any
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :true这个问题其实是因为模型计算的结果有NaN，但是这个问题可能跟硬件有关，我没法复现。 能提供一下你的操作系统、GPU型号、CUDA版本和PyTorch版本吗
我在游戏卡3090上有输出，但是在计算卡A100上没有输出，而且特别特别慢
我在游戏卡3090上有输出，但是在计算卡A100上没有输出，而且特别特别慢
能提供一下你的CUDA版本和PyTorch版本吗，我们最开始就是在A100上测试的
这个问题其实是因为模型计算的结果有NaN，但是这个问题可能跟硬件有关，我没法复现。 能提供一下你的操作系统、GPU型号、CUDA版本和PyTorch版本吗
同样的问题，这是我的信息。
python -c "import torch; print(torch.cuda.is_available())") :True这个问题其实是因为模型计算的结果有NaN，但是这个问题可能跟硬件有关，我没法复现。 能提供一下你的操作系统、GPU型号、CUDA版本和PyTorch版本吗
同样的问题，这是我的信息。
- OS:windwos server 2019
- Python:Python3.10
- Transformers:4.27.1
- PyTorch:2.0.0+cu118
- CUDA: 12.1
- CUDA Support (
python -c "import torch; print(torch.cuda.is_available())") :True
没有用过CUDA 12的环境。看起来PyTorch和CUDA版本不太匹配？
这个问题其实是因为模型计算的结果有NaN，但是这个问题可能跟硬件有关，我没法复现。 能提供一下你的操作系统、GPU型号、CUDA版本和PyTorch版本吗
同样的问题，这是我的信息。
- OS:windwos server 2019
- Python:Python3.10
- Transformers:4.27.1
- PyTorch:2.0.0+cu118
- CUDA: 12.1
- CUDA Support (
python -c "import torch; print(torch.cuda.is_available())") :True没有用过CUDA 12的环境。看起来PyTorch和CUDA版本不太匹配？
我卸掉了12.1，换了11.8版本，还是同样的问题，应该不是PyTorch和CUDA版本匹配问题。
nan，但是有有计算模型因为计算计算的结果结果结果跟跟跟硬件跟硬件跟硬件硬件跟跟硬件跟，我我可能可能可能有结果结果结果结果结果结果有有有有有有有结果结果结果结果结果结果结果结果
同样的问题，这是我的信息。
- 操作系统：windwos server 2019
- Python：Python3.10
- 变形金刚：4.27.1
- 火炬：2.0.0+cu118
- CUDA：12.1
- CUDA 支持 (
python -c "import torch; print(torch.cuda.is_available())") :True没有用过 CUDA 12 的环境。看起来 PyTorch 和 CUDA 版本不太配？
最新发现，同样的硬件，系统，配置，chatglm-6b-int4可以正常运行，有消息回复，chatglm-6b依然没有消息回复。就是模型文件的问题？
ubuntu 系统。显存，内存，都够。
一样的问题。curl demo。response 回复空。很慢。
@duzx16