[THUDM/ChatGLM-6B]ptuning之后api预测

ptuning-v2微调之后模型是只保存 PrefixEncoder 部分的参数？用api.py预测是要加载原 ChatGLM-6B 模型以及微调后的权重吗？我用以下代码加载权重，有报错

Environment

- OS:centos 7
- Python:3.8
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

ZTurboX

我也有类似的问题，用新的数据（只有一条kv数据）加载生成的prefix_encoder数据后，原来模型的对话能力丢失了，不知道如何解决。

derekzhuo

加载的时候把pre_seq_len参数传进去就好了，因为在构建模型的时候没有这个参数不会有prefix_encoder层

xiongxiaochu

请问您加载的时候有遇到“Some weights of ChatGLMForConditionalGeneration were not initialized from the model checkpoint at ../chatglm-6b and are newly initialized: ['transformer.prefix_encoder.embedding.weight']”这个问题吗？

xiongxiaochu

请按照 https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning#%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2 的指示来你没有传自定义的 config

duzx16

请问您加载的时候有遇到“Some weights of ChatGLMForConditionalGeneration were not initialized from the model checkpoint at ../chatglm-6b and are newly initialized: ['transformer.prefix_encoder.embedding.weight']”这个问题吗？

这是个 warning，可以忽略，后续这个参数会单独加载

duzx16

[THUDM/ChatGLM-6B]ptuning之后api预测

回答