[THUDM/ChatGLM-6B][Help] 为什么P-tuning v2 示例参数的step是3000?

2024-05-21 80 views
4

作者您好~ADGEN 训练集里有近12w条数据,按照您提供的参数,step=3000,per_device_train_batch_size=16,一个epoch只能覆盖3000*16=48000条数据? 是我理解的有问题吗?还是有其他的手段保证数据集上的full training

回答

5

你是不是设置了 --max_steps 3000,把这个去掉就行了

5

你是不是设置了 --max_steps 3000,把这个去掉就行了

是官方给的例子带了这个参数

5

因为 3000 步的训练在这个数据集上已经能取得不错的效果。针对自己的数据集可以进行调整。

2

因为 3000 步的训练在这个数据集上已经能取得不错的效果。针对自己的数据集可以进行调整。

5

你是不是设置了 --max_steps 3000,把这个去掉就行了

你好 我数据集里面有700条数据,max_steps设置=700 ,per_device_train_batch_size设置=1,每十步输出依次日志。请问为什么第一次输出日志的时候epoch就显示为0.23了,这时候不应该才训练了10个数据吗(10个step)

3

因为 3000 步的训练在这个数据集上已经能取得不错的效果。针对自己的数据集可以进行调整。

你好 我数据集里面有700条数据,max_steps设置=700 ,per_device_train_batch_size设置=1,每十步输出依次日志。请问为什么第一次输出日志的时候epoch就显示为0.23了,这时候不应该才训练了10个数据吗(10个step)