0
通义千问大模型什么时候能支持呢？我们在用72B、14B的，迫切希望能支持加速推理。
Q
[SJTU-IPADS/PowerInfer]通义千问大模型什么时候能支持呢？我们在用72B、14B的，迫切希望能支持加速推理。
A
回答
9
感谢你们的关注！PowerInfer目前仅支持ReLU激活函数的LLM，对于非ReLU激活函数的模型我们需要进行fine-tune使其切换到ReLU。受限于我们的算力和语料，目前我们只完成了Llama 2和Falcon，在近期只计划了Mistral 7B。
但我们希望PowerInfer可以推动今后的LLM重新关注稀疏性特征，借助社区的力量和影响力扩大模型的兼容范围。请保持关注！
7
意思是拿官方预训练好的模型，再小数据集上微调的时候把激活切换成ReLU是么？具体是怎么修改的呢？这样修改激活，对准确度有多少影响呢？