3
步骤
- 使用该镜像启动容器
- 调用镜像自带chatglm模型并联网下载tokenizer
- 启动web_demo.py后在对话框进行对话
模型可以正常加载,但执行对话报错。
- 主要错误
File "/root/miniconda3/lib/python3.8/site-packages/transformers/generation/utils.py", line 733, in _update_model_kwargs_for_generation model_kwargs["attention_mask"] = torch.cat( RuntimeError: Tensors must have same number of dimensions: got 4 and 2 - 措施:升级transformer仍无效
- 使用该镜像启动容器
- 调用镜像自带chatglm模型并联网下载tokenizer
- 启动web_demo.py后在对话框进行对话
- [镜像](https://www.codewithgpu.com/i/THUDM/ChatGLM-6B/ChatGLM)
- GPU: RTX3080