ABSoft

最新提问

6热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] web_demo.py处理对话报错 RuntimeError: Tensors must have same number of dimensions: got 4 and 2

步骤使用该镜像启动容器调用镜像自带chatglm模型并联网下载tokenizer 启动web_demo.py后在对话框进行对话错误现象模型可以正常加载，但执行对话报错。主要错误 File "/root/miniconda3/lib/python3.8/site-packages/transformers/generation/utils.py", line 733, i

10热度

6回答

[THUDM/ChatGLM-6B][Help]请教有没有方法拓展Chat-GLM-6B在某个学科领域的知识储备？

想借助ChatGLM-6B进行专业领域文本的分析，希望ChatGLM-6B阅读一段专业领域文本后，回答提出的问题。例如实现这样的效果：我问：胃癌是不是恶性肿瘤？ ChatGLM答：是。这里面需要ChatGPT知晓胃癌是癌症这个知识，请问如何做能让ChatGLM扩充知识内容？感谢！ Environment - OS: not needed - Python: n

1热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 布置到windows服务器上，没有报错，但AI也没有回复

我本地电脑上能正常运行cli_demo.py，但部署在腾讯GPU服务器上却有问题，我是通过远程桌面连接到服务器，然后打开VSCdoe跑cli_demo.py，提问之后AI没有回复消息，也没报错，字符串变量response没有任何内容（cli_demo.py第18~21行），我没改动过代码，都是本地测试过在上传到服务器的。试过换了windows server 2022系统，还是同样的问题。 ---

5热度

9回答

[THUDM/ChatGLM-6B][BUG/Help] <使用evaluate.sh 评估模型效果时报错>

在adgen数据上进行微调之后想测试模型效果。尝试运行evaluate.sh时总会报这个错误，但是不知道怎么解决 Steps To Reproduce bash evaluate.sh Environment - OS: - Python: 3.7.5 - Transformers: 4.27.1 - PyTorch: 1.13.1 - CUDA Support (`python -c "

0热度

5回答

[THUDM/ChatGLM-6B]如何在微调后应该对其进行下游任务的训练TRAIN this model on a down-stream[BUG/Help]

微调后加载模型和checkpoint 出现如下提示： Some weights of ChatGLMForConditionalGeneration were not initialized from the model checkpoint at D:\glm\chatglm_webui\chatglm-6b and are newly initialized: ['transformer.pr

3热度

12回答

[THUDM/ChatGLM-6B]想保留原有的对话能力并增加现有的问题处理对话哪种更适合呢？lora还是ptuning？？？我还有个疑问，#413 说到ptuning微调之后就只支持当前任务了，这种同样是对话的任务微调之后之前的对话能力是否也会变差？如果想保留原有的对话能力并增加现有的问题处理对话是不是使用lora更适合？

想保留原有的对话能力并增加现有的问题处理对话哪种更适合呢？lora还是ptuning？？？我还有个疑问，https://github.com/THUDM/ChatGLM-6B/issues/413 说到ptuning微调之后就只支持当前任务了，这种同样是对话的任务微调之后之前的对话能力是否也会变差？如果想保留原有的对话能力并增加现有的问题处理对话是不是使用lora更适合？ Environment

3热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] M1上无法运行，报错“AssertionError: Torch not compiled with CUDA enabled”

本地下载完成模型，修改完代码，运行python cli_demo.py，报错AssertionError: Torch not compiled with CUDA enabled，似乎是cuda不支持arm架构，本地启了一个conda装了pytorch，但是不能装cuda 1、python cli_demo.py Environment - OS: mac 13.0 - Python: 3

8热度

2回答

[SJTU-IPADS/PowerInfer]ggml-cuda.cu:8949: invalid argument无效参数问题

问题运行时出现 CUDA error 1 at /root/PowerInfer/ggml-cuda.cu:8949: invalid argument 所有依赖已经满足，请提供一下解决思路，谢谢配置 Cpu:Intel(R) Xeon(R) Platinum 8474C Gpu：NVIDIA GeForce RTX 4090 D Cuda: nvcc: NVIDIA (R) Cuda co

9热度

2回答

[SJTU-IPADS/PowerInfer]在A100-80G上无法找到cuda的情况

你好，我在A100-80G机器上复现powerinfer，但是遇到了以下的错误，看起来貌似是没有检测出机器上的i显卡？机器的cuda版本：12.4 (base) turbo@sma100-02:/home/turbo/projects/PowerInfer$ ./build/bin/main -m /home/turbo/models/ReluLLaMA-70B/llama-70b-relu.q

1热度

1回答

[SJTU-IPADS/PowerInfer]关于在A100显卡上测得的效果异常的疑问

作者您好！我在3090、4090、A100-80G上进行了复现，复现的细节如下选用的模型：PowerInfer/ReluLLaMA-70B-PowerInfer-GGUF 通过对输出的结果分析，得到各个指标如下面的柱状图：当限制输出长度为128时，当限制输出长度为256时，从两个图看出，3090和4090表现符合预期，因为4090计算能力上高于3090，但是对于A100来说显示比较异常

6热度

13回答

[Chanzhaoyu/chatgpt-web]建议把API_REVERSE_PROXY设置反向代理的默认值去掉

有时间把这个默认值去掉吧，因为我本身就部署在美国，不走反向代理了，响应嘎嘎快，基本上秒回答。如果硬编码了，就很伤，一般几秒到10几秒才回复一下，太难熬了。不然每次更新镜像，都需要改下源码，对于有需要走代理的，在配置里面配置一个默认的就行了，没必要硬编码写死，或者使用作者推荐的那两个地址，再或者自建代理服务器啥的都可以。

2热度

8回答

[Chanzhaoyu/chatgpt-web]用Access Token部署的Railway，前一段时间好好的，后面提示 undefined [fetch failed]。重新部署问题依旧

如题，用Access Token部署的Railway，前一段时间好好的，后面问问题，一发问题就马上提示 undefined [fetch failed]。重新部署问题依旧，更换了 Access Token 也没用

2热度

21回答

[Chanzhaoyu/chatgpt-web]无法用腾讯cos的文件地址下载提示词。

因部分网络无法直接下载github的提示词json文件，然后上传到cos，结果还是提示

8热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] <CPU无法使用int4模型>

使用CPU无法运行chatglm-6b-int4，但可以运行chatglm-6b，主要的运行错误如下 Traceback (most recent call last): File "C:\Users\Azure/.cache\huggingface\modules\transformers_modules\chatglm_6b_int_4\quantization.py", line 1

0热度

7回答

[THUDM/ChatGLM-6B][Feature] 如何贡献GPTQ相关的代码以及模型

Hi，我目前已经用GPTQ对ChatGLM-6B做了8/4bit的量化，量化后的模型依旧能够流畅对话。想问一下如果如果贡献这部分内容的话，该怎么操作。我想了一些可能的形式哈：直接贡献GPTQ calibrated 的模型参数，并适配ChatGLM的推理流程。我对GPTQ做了一定的工具化，可以把这部分内容直接直接贡献到.quantize接口里来上面两种方法背后都还有一些待讨论的点，例如GP

3热度

17回答

[THUDM/ChatGLM-6B]deepspeed inference 显存问题

deepspeed 执行chatglm推理会出现显存成倍的情况，具体如下： deepspeed --num_gpus 2 test.py 服务器环境中有2个gpu，执行推理的时候，会出现显存为2倍参数量。也就是可以理解为，并deepspeed加载后，并没有完成模型并行，2块gpu都加载了同样参数量，存在显存翻倍的情况。测试bloom模型并未出现这个情况，具体不知道是不是和模型底层有关，chat

8热度

7回答

[THUDM/ChatGLM-6B][Feature] 训练1M数据需要多久

用官方推荐的方法ptuning, 在v100上提示需要快500小时才能搞完，是这样么，还是参数我搞错了

1热度

4回答

[THUDM/ChatGLM-6B][BUG/Help] 在训练完成后测试没有返回结果

from transformers import AutoTokenizer, AutoModel, AutoConfig import os import torch tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b",cache_dir='/output/ChatGLM-6B/chatglm-6b', trust_remot

8热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] 微调后无法给出完整回答

按照微调示例中准备了数据集大约670份，每一份都是完整回答，但是微调后大概率无法产生完整对话，每次两三行就会在语义不完整的情况下结束回答，但是训练过程中的loss已经0.0014左右了。加大数据集可以改善问题吗？数据集目前summary的字数均在300以上，会有影响吗？还请教如何改善这个问题，增加字数输出，并输出完整语义。数据集示例如下： {"summary": "1月29日实施报告\n【实施人

0热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] linux系统，使用cpu，系统运行后卡住不回答是怎么回事儿？

linux操作系统，使用CPU布署，运行cli_demo出来提示后，卡住不回答是怎么回事儿？ linux系统； cpu布署 Environment - OS:centos - Python:3.10.9 - Transformers:默认 - PyTorch:1.13.1 - CUDA Support (`python -c "import torch; print(torch.cuda.i