1. 首页
  2. 问答
  3. [THUDM/ChatGLM-6B]关于p_tuning效果的疑问

[THUDM/ChatGLM-6B]关于p_tuning效果的疑问

2024-07-12 425 views
8

请问为什么选择p_tuning而不是lora或者prefix_tuning，这三者孰优孰劣？然后就是，我使用glm6b原版模型，对广告生成数据集做了测试，发现效果本来就非常好，是不是原版模型已经加了这个数据集？导致微调看不出效果？下面图片是我用原版glm6b做的测试： image

rayvzn119

回答

6

我这用ptuning2失败

Traceback (most recent call last): File "main.py", line 393, in main() File "main.py", line 119, in main model.transformer.prefix_encoder.float() File "/usr/local/lib/python3.8/dist-packages/torch/nn/modules/module.py", line 1614, in getattr raise AttributeError("'{}' object has no attribute '{}'".format( AttributeError: 'ChatGLMModel' object has no attribute 'prefix_encoder'

liaoweiguo

2

更新transformers版本就可以了

maojinyang

7

权重文件需要使用最新的

cauherk

0

给你一个样例，如果语料质量不高，就会变成智障

tokenizer = AutoTokenizer.from_pretrained("./ptuning/output/xxx-chatglm-6b-pt-8-1e-2/checkpoint-3000", local_files_only=True,trust_remote_code=True) model = AutoModel.from_pretrained("./ptuning/output/xxx-chatglm-6b-pt-8-1e-2/checkpoint-3000", local_files_only=True,trust_remote_code=True).half().cuda()

walker83

1

调优是个玄学

liaoweiguo

5

我就没觉得微调之后生成的广告词有多大提升，原版的模型生成的广告词看着也不错

Tungsong

7

我这边用自己的问答数据微调，回复效果就是：在一本正经的胡说八道（虽然挺流畅的，也跟微调数据相关的，但是胡说八道）

Leawnn

4

可能存在数据泄露的问题

liucongg