[THUDM/ChatGLM-6B]如何在领域数据上二次预训练

4

我也在做增量预训练，欢迎做类似的伙伴交流

MikeHollyWong

2

正准备做这个事情，大家有什么推荐的方案吗？

feisan

4

插眼

ghost

0

现在有结果吗

greatheart1000

1

cy

SolarKnight1

8

看来官方暂时不太打算回答这方面的问题。

我准备按照这个项目来搞一搞 https://github.com/shibing624/MedicalGPT

feisan

9

https://github.com/shibing624/MedicalGPT 参考这个项目，预训练，指令微调，rm模型训练，ppo都有现成的

tomcat123a