[THUDM/ChatGLM-6B][BUG/Help] web_demo.py处理对话报错 RuntimeError: Tensors must have same number of dimensions: got 4 and 2

2024-06-17 159 views
3
步骤
  • 使用该镜像启动容器
  • 调用镜像自带chatglm模型并联网下载tokenizer
  • 启动web_demo.py后在对话框进行对话
    图片
错误现象

模型可以正常加载,但执行对话报错。 图片

  • 主要错误
    File "/root/miniconda3/lib/python3.8/site-packages/transformers/generation/utils.py", line 733, in _update_model_kwargs_for_generation model_kwargs["attention_mask"] = torch.cat( RuntimeError: Tensors must have same number of dimensions: got 4 and 2
  • 措施:升级transformer仍无效
    图片
  • 使用该镜像启动容器
  • 调用镜像自带chatglm模型并联网下载tokenizer
  • 启动web_demo.py后在对话框进行对话
Environment
- [镜像](https://www.codewithgpu.com/i/THUDM/ChatGLM-6B/ChatGLM)   
- GPU: RTX3080

回答

1

镜像里的模型文件不是最新的,需要更新一下modeling_chatglm.py

0

怎么更新镜像里的modeling_chatglm.py。 我之前打算直接修改modeling_chatglm来自定义部分函数,修改之后出现了类似错误。 整个文件删除再重新下载并不work

6

我也遇到了一样的问题

5

这个镜像并不是官方提供的,应该问镜像的提供者吧。