3
请问ChatGLM-6B支持做batch inference吗？如果支持，请问怎么设置？谢谢！
Q
[THUDM/ChatGLM-6B][Feature] 请问ChatGLM-6B支持batch inference吗？
A
回答
4
同问，调查了一段时间了~
9
同问，请问model.generate能批量预测么，我这边试了下batch和单条结果不一致，问题出在pad上，请问有解决办法么？
5
同问，请问model.generate能批量预测么，我这边试了下batch和单条结果不一致，问题出在pad上，请问有解决办法么？
https://huggingface.co/THUDM/chatglm-6b/blob/main/test_modeling_chatglm.py#L120 这种方式可以
1
同问，请问model.generate能批量预测么，我这边试了下batch和单条结果不一致，问题出在pad上，请问有解决办法么？
https://huggingface.co/THUDM/chatglm-6b/blob/main/test_modeling_chatglm.py#L120 这种方式可以
你们测试速度怎么样？我怎么看还没有循环速度快。显存24G
5
同问，请问model.generate能批量预测么，我这边试了下batch和单条结果不一致，问题出在pad上，请问有解决办法么？
https://huggingface.co/THUDM/chatglm-6b/blob/main/test_modeling_chatglm.py#L120 这种方式可以
你们测试速度怎么样？我怎么看还没有循环速度快。显存24G
同问，我测下来几乎是成倍增加，预测结果是正常的
1
transformer的generate方法 bs>1的时候，到底是串行还是并行啊