2
感谢开源,我在原demo中修改的地方有:增加from transformers import Cache 以及 torch.set_float32_matmul_precision('high') 我输入的文本texts = ["中文", "我是语音助手"] 目前完整报错信息如下
use default LlamaModel for importing TELlamaModel error: No module named 'transformer_engine'
text: 0%| | 0/384(max) [00:00, ?it/s]We detected that you are passing `past_key_values` as a tuple and this is deprecated and will be removed in v4.43. Please use an appropriate `Cache` class (https://huggingface.co/docs/transformers/v4.41.3/en/internal/generation_utils#transformers.Cache)
text: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 384/384(max) [00:03, 104.66it/s]
incomplete result. hit max_new_token: 384
code: 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1750/2048(max) [00:15, 110.45it/s]
我想请问一下这个texts也超过token了吗,会不会这个限制有点小了,然后我还发现如果text中有数字出现也会报错invalid character 想请教一下该怎么解决