4
- 背景：这边搭载了一台消费级卡（8张 NVIDIA GF RTX4090）的服务器，希望能够接入 PowerInfer
- 问题：想请问是否如何接入PowerInfer，以及看是否适配。
Q
[SJTU-IPADS/PowerInfer]请问下针对消费级卡的服务器的适配。
A
回答
0
需要ReLU激活的模型才能用
6
感谢你的关注。PowerInfer可以支持多卡服务器，但目前我们尚未适配将一个模型offload到多张GPU上。因此，在使用 PowerInfer 时，每张 GPU 都将独立运行一个或多个模型。使用多卡运行时，需要export CUDA_VISIBLE_DEVICES=x来指定 PowerInfer 使用哪一块 GPU。我们尚未在多卡环境上进行充分测试，可能会遇到一些运行问题，非常欢迎你提供反馈。
另外，目前PowerInfer只支持ReLU激活函数的模型，更多信息请参阅我们的FAQs。