[THUDM/ChatGLM-6B]如何在领域数据上二次预训练

7

我也在做增量预训练，欢迎做类似的伙伴交流

MikeHollyWong

9

正准备做这个事情，大家有什么推荐的方案吗？

feisan

2

插眼

ghost

1

现在有结果吗

greatheart1000

9

cy

SolarKnight1

9

看来官方暂时不太打算回答这方面的问题。

我准备按照这个项目来搞一搞 https://github.com/shibing624/MedicalGPT

feisan

6

https://github.com/shibing624/MedicalGPT 参考这个项目，预训练，指令微调，rm模型训练，ppo都有现成的

tomcat123a