9
微调后,测试问答生成,确实能回答我给他学习的内容 ,但后面会追加很多其它文本 这要怎么解决?
Environment- OS:centos 7.9
- Python:3.7.16
- Transformers:4.27.1
- PyTorch:1.13
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :11.7
微调后,测试问答生成,确实能回答我给他学习的内容 ,但后面会追加很多其它文本 这要怎么解决?
Environment- OS:centos 7.9
- Python:3.7.16
- Transformers:4.27.1
- PyTorch:1.13
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :11.7
能分享下你的训练数据吗
同问,能给一下你的训练数据示例以及你的训练参数吗
最大文本长度调到128试试
最大文本长度调到128试试
128,岂不是连我自己的标准答案都被它给截断了啊。。
同问,能给一下你的训练数据示例以及你的训练参数吗
我用的lora 微调,数据是自己造的alpaca 数据
同问,能给一下你的训练数据示例以及你的训练参数吗
我用的lora 微调,数据是自己造的alpaca 数据
那lora的具体参数是什么呢,数据就是你按alpaca的形式构造的自己的数据吗,方便展示一两条吗,我用Lora的方法去微调模型,也是自己的alpaca数据,但是效果不好,跑了10个epoch才能勉强记住我的问题
我自己用lora调感觉效果也是不符合预期,用英文alpaca数据加一些中文自定义数据,英文能力有提升,譬如很少中英混杂,但是中文问题就没太学进去,比如,Q:你是谁 A:我是XXX,这个回答还是原来的。
我自己用lora调感觉效果也是不符合预期,用英文alpaca数据加一些中文自定义数据,英文能力有提升,譬如很少中英混杂,但是中文问题就没太学进去,比如,Q:你是谁 A:我是XXX,这个回答还是原来的。
训练的步数太少了。