0
Q
[SJTU-IPADS/PowerInfer]llama2中文 hf格式.bin 如何转换成PowerInfer格式?
A
回答
6
好像中文Llama2的激活函数不是ReLU，PowerInfer不适用？PowerInfer是针对ReLU的？
8
感谢你对PowerInfer的关注。目前，我们尚未支持基于Llama模型的各种变体。我们的系统目前支持使用ReLU激活函数的模型。虽然我们对原版的Llama 2模型进行了Fine-tune，使其可以使用ReLU激活函数，但这一支持并不包括Llama模型的所有变种。请参阅我们的FAQs。
8
好的 谢谢