powerinfer

7热度

1回答

[SJTU-IPADS/PowerInfer]为什么执行过程中没有gpu offload，这边执行的gpu为a100 80G，

第一步：报错没有activation文件夹； 这边手动增加activation文件夹（fake）后，执行python依然报错 单独执行python命令报错如下：

powerinfer Python 2024-07-02

---

5热度

2回答

[SJTU-IPADS/PowerInfer]通义千问大模型什么时候能支持呢？我们在用72B、14B的，迫切希望能支持加速推理。

通义千问大模型什么时候能支持呢？我们在用72B、14B的，迫切希望能支持加速推理。

powerinfer llama 2024-06-21

---

4热度

3回答

[SJTU-IPADS/PowerInfer]llama2中文 hf格式.bin 如何转换成PowerInfer格式?

powerinfer llama 2024-06-21

---

10热度

3回答

[SJTU-IPADS/PowerInfer]windows visual studio编译失败

使用CMake构建vs 工程，编译的时候，会报下面的错误： fatal error C1083: 无法打开包括文件: “stdatomic.h”: No such file or directory

powerinfer llama 2024-06-21

---

6热度

3回答

[SJTU-IPADS/PowerInfer]请问你们是否有兴趣支持deepseek？

Deepseek-llm和Deepseek-coder效果也是很好的模型，而且是llama结构https://github.com/deepseek-ai/deepseek-coder/

powerinfer llama 2024-06-21

---

6热度

2回答

[SJTU-IPADS/PowerInfer]请问下针对消费级卡的服务器的适配。

背景：这边搭载了一台消费级卡（8张 NVIDIA GF RTX4090）的服务器，希望能够接入 PowerInfer 问题：想请问是否如何接入PowerInfer，以及看是否适配。

powerinfer llama 2024-06-21

---

9热度

7回答

[SJTU-IPADS/PowerInfer]请问和llama.cpp 相比有什么优化的地方吗？因为我看大部分代码都是和他重合的

虽然有点冒犯，但是如题

powerinfer llama 2024-06-21

---

2热度

2回答

[SJTU-IPADS/PowerInfer]ReluFalcon 40B 在llama.cpp上无效输出

在RTX 4090(24G)上 尝试复现视频中llama.cpp与贵工作在 Falcon 40B上的对比效果。 Powerinfer使用的模型是PowerInfer/ReluFalcon-40B-PowerInfer-GGUF ，推理效果优秀。 使用SparseLLM/ReluFalcon-40B所提供的fp16模型在llama.cpp下进行转化 python3 convert-hf-to-ggu

powerinfer llama gguf llm 2024-06-21

---

6热度

2回答

[SJTU-IPADS/PowerInfer]ggml-cuda.cu:8949: invalid argument无效参数问题

问题 运行时出现 CUDA error 1 at /root/PowerInfer/ggml-cuda.cu:8949: invalid argument 所有依赖已经满足，请提供一下解决思路，谢谢 配置 Cpu:Intel(R) Xeon(R) Platinum 8474C Gpu：NVIDIA GeForce RTX 4090 D Cuda: nvcc: NVIDIA (R) Cuda co

llm gguf ggml powerinfer 2024-06-14

---

4热度

2回答

[SJTU-IPADS/PowerInfer]在A100-80G上无法找到cuda的情况

你好，我在A100-80G机器上复现powerinfer，但是遇到了以下的错误，看起来貌似是没有检测出机器上的i显卡？ 机器的cuda版本：12.4 (base) turbo@sma100-02:/home/turbo/projects/PowerInfer$ ./build/bin/main -m /home/turbo/models/ReluLLaMA-70B/llama-70b-relu.q

powerinfer Nvidia CUDA 2024-06-14

---

3热度

1回答

[SJTU-IPADS/PowerInfer]关于在A100显卡上测得的效果异常的疑问

作者您好！我在3090、4090、A100-80G上进行了复现，复现的细节如下 选用的模型：PowerInfer/ReluLLaMA-70B-PowerInfer-GGUF 通过对输出的结果分析，得到各个指标如下面的柱状图： 当限制输出长度为128时， 当限制输出长度为256时， 从两个图看出，3090和4090表现符合预期，因为4090计算能力上高于3090，但是对于A100来说显示比较异常

powerinfer llama gguf llm 2024-06-14

---