按照微调示例中准备了数据集大约670份,每一份都是完整回答,但是微调后大概率无法产生完整对话,每次两三行就会在语义不完整的情况下结束回答,但是训练过程中的loss已经0.0014左右了。加大数据集可以改善问题吗?数据集目前summary的字数均在300以上,会有影响吗?还请教如何改善这个问题,增加字数输出,并输出完整语义。 数据集示例如下: {"summary": "1月29日实施报告\n【实施人员】\n实施人员A 实施人员B\n【运动情况】\n客户今天户外慢跑5km,整个跑步过程中速度有所提高,但其中出现过一次减速的现象,在实施人员的鼓励下提高速度最后完成慢跑。\n【情绪状况+实施情况】\n客户抵达工作室有迟到,守时和规则精神需要继续锻炼。客户今天情绪很好,并告诉实施人员,今天想早点跑完,下午和朋友一起约着看电影并告诉实施人员所看电影的类型。运动过程中,客户会主动和实施人员沟通,规划跑步路线图。实施人员询问是否会回来过年时,客户表示不想回去,因为会晕车,所以不想回家过年。\n【进步点】\n1.客户会主动问实施人员喜好,以此大家沟通,沟通时表现的很积极,也会说出自己的建议。\n2.客户今天跑步方面能力有所提升,跑步速度比之前快,也能咬牙坚持。\n3.客户会主动计划跑步路线图,当身处没有父母的时候孩子会有规划地安排自己的事。\n4.客户今天的情绪比起前几天稳定很多,刚到工作室时有些不开心,在实施人员关心过一次后即可给出回应。\n【风险点】\n1.客户对于时间的概念依旧需要增强。\n2.客户对于学习的动力依旧需要他人去监督。", "content": "#实施人:实施人员A, 实施人员B#被实施客户:客户#实施记录日期:1月29日#情绪状态:情绪很好#实施概况:客户抵达工作室有迟到,跑步过程中速度有所提高,减速一次,实施人员鼓励后完成慢跑,主动沟通,规划跑步路线图#进步点:跑步能力提升,主动沟通,情绪稳定#风险点:时间概念需增强,学习动力需监督#运动概况:户外慢跑5km,速度提高"} 目前出问题的输出例如: 2011.11.5 情绪状态:优 实施了第一阶段第28天,王逸凡情绪稳定,睡眠状态中。 进步点:运动后开玩笑聊得开心,表明愿意继续跑起来。 风险点:不太愿意换地方跑步,
进行完整的语义回答
- 微调,600份数据集 50份训练集
- 看到数据集训练1000轮后 loss靠近0.0014
- 模型部署,进行测试
- 发现语义大概率不完整
- OS: Windows
- Python: 3.8
- Transformers: 4.27.1
- PyTorch: 1.13.1
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :True
还请教如何改善这个问题,增加字数输出,并输出完整语义。