4
作者您好~ADGEN 训练集里有近12w条数据,按照您提供的参数,step=3000,per_device_train_batch_size=16,一个epoch只能覆盖3000*16=48000条数据? 是我理解的有问题吗?还是有其他的手段保证数据集上的full training
作者您好~ADGEN 训练集里有近12w条数据,按照您提供的参数,step=3000,per_device_train_batch_size=16,一个epoch只能覆盖3000*16=48000条数据? 是我理解的有问题吗?还是有其他的手段保证数据集上的full training
你是不是设置了 --max_steps 3000,把这个去掉就行了
你是不是设置了 --max_steps 3000,把这个去掉就行了
是官方给的例子带了这个参数
因为 3000 步的训练在这个数据集上已经能取得不错的效果。针对自己的数据集可以进行调整。
因为 3000 步的训练在这个数据集上已经能取得不错的效果。针对自己的数据集可以进行调整。
你是不是设置了 --max_steps 3000,把这个去掉就行了
你好 我数据集里面有700条数据,max_steps设置=700 ,per_device_train_batch_size设置=1,每十步输出依次日志。请问为什么第一次输出日志的时候epoch就显示为0.23了,这时候不应该才训练了10个数据吗(10个step)
因为 3000 步的训练在这个数据集上已经能取得不错的效果。针对自己的数据集可以进行调整。
你好 我数据集里面有700条数据,max_steps设置=700 ,per_device_train_batch_size设置=1,每十步输出依次日志。请问为什么第一次输出日志的时候epoch就显示为0.23了,这时候不应该才训练了10个数据吗(10个step)