[THUDM/ChatGLM-6B][Help] PTuning之后,进行evaluate时候,无法复现效果

2024-06-18 839 views
0

这是从generated_predictions.txt里面截取的:

{"labels": "设计剪裁立体有心意,穿着更加有型有范儿。设计师匠心独制,高腰阔腿设计修饰腿部线条为此款白色牛仔短裤添彩,另外做旧毛边工艺设计又将短裤点缀得恰到好处。简约大方的牛仔面料,使每个女孩子都能轻松驾驭,展现夏日", "predict": "何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故 何以故"}{"labels": "misssixty的这条牛仔裤采用了时尚大气的烟灰色,改变了常规的深蓝色带来的审美疲劳。它是高腰裤的版型,腰身部位用一排扣子装饰,适合外穿把纤细的腰身展露出来。带有弹力的修身版型,让你即使是穿着牛仔裤也不会感到束缚感。", "predict": "本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本 本"}{"labels": "<UNK>让你孕期也能魅力依旧,经典的圆领,更具百搭感,宽松的镂空袖子设计,让裙子更立体,同时还能显瘦遮肉。精致的花瓣领设计,整体造型更具女人味,后背的一字纽扣设计,更适合孕妈穿着。", "predict": "instanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceIDinstanceID"}

大部分都是这样,偶尔一两个稍微正常点:

{"labels": "内搭的连衣裙,几乎每个人都有一件。但是像这件这么性感妩媚的很少,没有拉链,套头就可以穿,网纱的垂感很好,因此是很显瘦的,而且大身网纱另外做了压褶,因此有了百褶的效果,不规则木耳边抽褶拼接,更", "predict": "经典款连衣裙,套头设计,方便穿脱。衣身采用网纱拼接,性感又飘逸,气质大方。压褶设计,修身显瘦,显身材。拉链设计,方便穿脱。"}

请教大神这是什么问题,我哪里出问题了?

  1. run train.sh
  2. run evaluate.sh
Environment
- OS: Windows 10
- Python: 3.10.9
- Transformers: 4.27.1
- PyTorch: pytorch-2.0.0-py3.10_cuda11.8_cudnn8_0
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

回答

2

你训练的loss最后是多少? evaluate的时候是否使用了batch size > 1

3

你训练的loss最后是多少? evaluate的时候是否使用了batch size > 1

evaluate时候batchsize只能设置1吗

3

@duzx16 loss最终是4.0xxx,练了两次都是这样,确实,我evaluate的时候batch size设置成了10,是因为batch size的影响吗?

1

@duzx16 loss最终是4.0xxx,练了两次都是这样,确实,我evaluate的时候batch size设置成了10,是因为batch size的影响吗?

之前的实现不支持batch generation。现在已经支持了,需要重新pull一下huggingface repo

6

您好,我训练自己的数据集没问题,但是在evaluate.sh一直报错ModuleNotFoundError: No module named 'transformers_modules.'能解决吗,谢谢了

3

@jiaqingxiang111 你是windows吧?transformer有个bug,你需要把路径改成windows的格式比如:./output/model.pt 改成 .\\output\\model.pt

8

已经修复了,确实是因为batch的问题。