[huggingface/transformers]Transformers==4.34.1 加载 chatglm 模型时出现错误

2024-02-19 928 views
2
  • transformers版本:4.34.1
  • 平台:Linux-4.19.96-x86_64-with-glibc2.31
  • Python版本:3.10.10
  • Huggingface_hub版本:0.17.3
  • Safetensors 版本:0.4.0
  • 加速版本:0.23.0
  • 加速配置:未找到
  • PyTorch 版本(GPU?):2.0.1+cu117(正确)
  • Tensorflow 版本(GPU?):未安装(NA)
  • Flax 版本(CPU?/GPU?/TPU?):未安装(NA)
  • Jax版本:未安装
  • JaxLib版本:未安装
  • 在脚本中使用 GPU?:
  • 在脚本中使用分布式或并行设置?:

加载 chatglm 模型失败:

File "/root/.cache/huggingface/modules/transformers_modules/tokenization_chatglm.py", line 112, in get_vocab
    vocab = {self._convert_id_to_token(i): i for i in range(self.vocab_size)}
  File "/root/.cache/huggingface/modules/transformers_modules/tokenization_chatglm.py", line 108, in vocab_size
    return self.tokenizer.n_words
AttributeError: 'ChatGLMTokenizer' object has no attribute 'tokenizer'. Did you mean: 'tokenize'?

回答

2

嘿!这trust_remote_code = True在集线器上使用并具有自定义代码!建议您在此存储库上提出问题!

4

Transformers==4.33.3 运行良好