6
当我运行服务器可执行文件时，它不断地将我的 GPU 保持在 50W 功耗，同时没有提示正在处理。当我在交互式终端模式下运行 llama 可执行文件时，不会出现此问题。在几代之间，当 llama 等待新输入时，GPU 可以休息并放松（闲置功耗约为 11W 左右）。为什么服务器可执行文件使 GPU（或 cpu，无论您使用什么）占用这么多？我确信这是没有必要的
Q
[ggerganov/llama.cpp]服务器可执行文件在空闲时不应消耗 cpu/gpu 功率。
A
回答
9
您的 GPU、操作系统、GGML 后端是什么？
4
我在配备 3x p40 的 w10 计算机上也遇到同样的问题。将 cublas 与最新的 airoboros 70b 一起使用（尽管它适用于所有型号）。Nvidia smi 中的空闲功率报告为 11w/卡，但一旦加载模型，空闲功率约为 50w/卡。
如果您需要更多信息，我可以为您提供更多信息。（注意我通过 ooba 使用 llama.cpp）
4
在最新版本中，master我没有观察到任何 CPU 或 GPU 在server空闲状态下的使用情况。
3
有两件事：1-就我而言，计算使用量没有回落到正常空闲水平，而是电力使用量。2-我实际上做了一些查看，看起来这可能是 Nvidia 驱动程序问题，当返回到 p0 电源状态时，电源使用情况无法正确转换回空闲状态。我在 Nvidia 开发论坛上找到的帖子（实际上有很多）说这个问题可能已在较新的驱动程序中得到解决，但我不知道这是否会进入特斯拉卡的企业驱动程序中。
4
我忘了提及，我报告的用电量nvidia-smi也保持不变。
没有服务器：
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.104.12 Driver Version: 535.104.12 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce GTX 1660 On | 00000000:06:00.0 On | N/A |
| 0% 49C P8 19W / 130W | 329MiB / 6144MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 2802 G /usr/lib/xorg/Xorg 281MiB |
| 0 N/A N/A 2932 G /usr/bin/gnome-shell 45MiB |
+---------------------------------------------------------------------------------------+与服务器：
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.104.12 Driver Version: 535.104.12 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce GTX 1660 On | 00000000:06:00.0 On | N/A |
| 49% 49C P8 19W / 130W | 2463MiB / 6144MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 2802 G /usr/lib/xorg/Xorg 281MiB |
| 0 N/A N/A 2932 G /usr/bin/gnome-shell 45MiB |
| 0 N/A N/A 1983592 C ./server 2132MiB |
+---------------------------------------------------------------------------------------+