CUDA

8热度

5回答

[ggerganov/llama.cpp]添加对oai python服务器中函数调用的基本支持

我想尝试使用 oai python 服务器来运行magentic。要正常工作，需要实现用于函数调用的 oai api。函数调用允许 LLM 使用函数调用而不是仅使用文本消息进行响应。会自动生成语法，通过提供的函数 json 方案来约束 LLM 响应。当客户端回复函数结果时，它们将包含在聊天提示中。磁性用法示例： > server -m open-llama-7b-v2-q8_0.gguf

3热度

17回答

[ggerganov/llama.cpp]简单的转换脚本在 Linux 上耗尽了 tmpfs 空间

默认情况下，Linux 会阻止 tmpfs 使用超过 50% 的可用系统内存。这通常是一件好事，但简单的转换脚本会在保存输出文件之前将所有张量数据写入 tmpfs，如果转换后的模型大于系统 RAM 的 50%（ref），则会导致此异常： Traceback (most recent call last): File "/home/cebtenzzre/src/forks/llama.cpp/c

1热度

5回答

[ggerganov/llama.cpp]iOS swift 包似乎使用了 NEWLAPACK 的内部符号：cblas_sgemm，导致使用此符号的应用程序无法发布到 App Store

构建链接到 swift 包 llama.cpp 的应用程序在发布到应用商店时在应用程序验证阶段会出现错误。特别是，它给出的错误说app references non-public symbol cblas_sgemm$NEWLAPACK$ILP64

6热度

16回答

[ggerganov/llama.cpp][用户] 实现 Streaming LLM - 让推理更高效

先决条件上下文长度限制是所有 LLM 都存在的问题。以下存储库和相关论文表明，保留 4 个初始标记将使大多数常见 LLM 上的上下文长度无限大，而不会牺牲性能或效率。代码：https://github.com/mit-han-lab/streaming-llm 存储库内的论文参考资料展示了 LLM 的注意力集中效应以及如何利用它。当前行为上下文长度的限制主要由预训练定义。其他方法（如 ro

9热度

16回答

[ggerganov/llama.cpp]转换：更新 Falcon 脚本以适应新的 HF 配置

这使 Falcon 转换脚本与HuggingFace 模型的最新更改保持一致。

7热度

5回答

[ggerganov/llama.cpp][bug] 运行多 GPU 推理时，ROCm 出现段错误。

预期行为预期 Tensor 分割将利用多 GPU。当前行为使用多 GPU 时，模型加载后发生段错误。使用 GPU（安装了两个 vega-56）和 HIP_VISIBLE_DEVICES 强制进行单 GPU 推理时，可纠正推理。环境与背景请提供有关您的计算机设置的详细信息。这很重要，因为除非在某些特定条件下，否则问题无法重现。您正在使用的物理（或虚拟）硬件，例如 Linux：锐龙

7热度

26回答

[ggerganov/llama.cpp]检查 CUDA 内存池支持

有些设备不支持内存池，但仍会将内存池数组元素从 nullptr 覆盖为某些垃圾值。我从设备属性中添加了额外检查。包括多 GPU 池访问支持和内存池访问检查。

4热度

6回答

[THUDM/ChatGLM-6B]ptuning时报错： AttributeError: 'ChatGLMModel' object has no attribute 'prefix_encoder'

Traceback (most recent call last): File "/ChatGLM-6B/ptuning/main.py", line 392, in main() File ""/ChatGLM-6B/ptuning/main.py", line 120, in main model.transformer.prefix_encoder.float() File "/root/

0热度

10回答

[THUDM/ChatGLM-6B]菜鸟选手请教：如何构建自己的数据集

真的要一条条数据手动生成吗QAQ？还是说有没有一个方法，根据已有的文本数据自动生成一些问答数据集。看官方的广告生成数据集，差不多1.5w条数据，要是自己手动弄，工作量也忒大了吧

10热度

10回答

[THUDM/ChatGLM-6B]ptuning 的evaluate.sh执行失败

[WARNING|tokenization_auto.py:652] 2023-04-03 18:03:23,678 >> Explicitly passing a revision is encouraged when loading a model with custom code to ensure no malicious code has been contributed i

7热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] web_demo.py处理对话报错 RuntimeError: Tensors must have same number of dimensions: got 4 and 2

步骤使用该镜像启动容器调用镜像自带chatglm模型并联网下载tokenizer 启动web_demo.py后在对话框进行对话错误现象模型可以正常加载，但执行对话报错。主要错误 File "/root/miniconda3/lib/python3.8/site-packages/transformers/generation/utils.py", line 733, i

7热度

6回答

[THUDM/ChatGLM-6B][Help]请教有没有方法拓展Chat-GLM-6B在某个学科领域的知识储备？

想借助ChatGLM-6B进行专业领域文本的分析，希望ChatGLM-6B阅读一段专业领域文本后，回答提出的问题。例如实现这样的效果：我问：胃癌是不是恶性肿瘤？ ChatGLM答：是。这里面需要ChatGPT知晓胃癌是癌症这个知识，请问如何做能让ChatGLM扩充知识内容？感谢！ Environment - OS: not needed - Python: n

1热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 布置到windows服务器上，没有报错，但AI也没有回复

我本地电脑上能正常运行cli_demo.py，但部署在腾讯GPU服务器上却有问题，我是通过远程桌面连接到服务器，然后打开VSCdoe跑cli_demo.py，提问之后AI没有回复消息，也没报错，字符串变量response没有任何内容（cli_demo.py第18~21行），我没改动过代码，都是本地测试过在上传到服务器的。试过换了windows server 2022系统，还是同样的问题。 ---

9热度

9回答

[THUDM/ChatGLM-6B][BUG/Help] <使用evaluate.sh 评估模型效果时报错>

在adgen数据上进行微调之后想测试模型效果。尝试运行evaluate.sh时总会报这个错误，但是不知道怎么解决 Steps To Reproduce bash evaluate.sh Environment - OS: - Python: 3.7.5 - Transformers: 4.27.1 - PyTorch: 1.13.1 - CUDA Support (`python -c "

10热度

5回答

[THUDM/ChatGLM-6B]如何在微调后应该对其进行下游任务的训练TRAIN this model on a down-stream[BUG/Help]

微调后加载模型和checkpoint 出现如下提示： Some weights of ChatGLMForConditionalGeneration were not initialized from the model checkpoint at D:\glm\chatglm_webui\chatglm-6b and are newly initialized: ['transformer.pr

10热度

12回答

[THUDM/ChatGLM-6B]想保留原有的对话能力并增加现有的问题处理对话哪种更适合呢？lora还是ptuning？？？我还有个疑问，#413 说到ptuning微调之后就只支持当前任务了，这种同样是对话的任务微调之后之前的对话能力是否也会变差？如果想保留原有的对话能力并增加现有的问题处理对话是不是使用lora更适合？

想保留原有的对话能力并增加现有的问题处理对话哪种更适合呢？lora还是ptuning？？？我还有个疑问，https://github.com/THUDM/ChatGLM-6B/issues/413 说到ptuning微调之后就只支持当前任务了，这种同样是对话的任务微调之后之前的对话能力是否也会变差？如果想保留原有的对话能力并增加现有的问题处理对话是不是使用lora更适合？ Environment

3热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] M1上无法运行，报错“AssertionError: Torch not compiled with CUDA enabled”

本地下载完成模型，修改完代码，运行python cli_demo.py，报错AssertionError: Torch not compiled with CUDA enabled，似乎是cuda不支持arm架构，本地启了一个conda装了pytorch，但是不能装cuda 1、python cli_demo.py Environment - OS: mac 13.0 - Python: 3

1热度

2回答

[SJTU-IPADS/PowerInfer]在A100-80G上无法找到cuda的情况

你好，我在A100-80G机器上复现powerinfer，但是遇到了以下的错误，看起来貌似是没有检测出机器上的i显卡？机器的cuda版本：12.4 (base) turbo@sma100-02:/home/turbo/projects/PowerInfer$ ./build/bin/main -m /home/turbo/models/ReluLLaMA-70B/llama-70b-relu.q

4热度

1回答

[2noise/ChatTTS]有没有GPU使用说明

2热度

1回答

[2noise/ChatTTS]可以这样保存音色