PyTorch

9热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] <ChatGLM-6B会不会开放GLM框架下的微调代码>

你好！目前ChatGLM-6B模型的微调代码是另外写的一套，请问后面会不会开放基于GLM代码框架的微调代码？（ChatGLM-10B是基于GLM框架进行微调） Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.i

2热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] 使用main.py进行全量微调训练后，输出一直为空

from transformers import AutoModel, AutoTokenizer import sys local_model_path = "my_local_checkpoint_path" model_path = "THUDM/chatglm-6b" # You can modify the path for storing the local model model

8热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] p-tuning如何使用多卡进行微调呢？

readme里只有多卡部署的方法，想咨询一下如何进行多卡微调？当前单卡微调速度非常之慢，仅50条数据就需要4小时+。如果使用多卡微调速度是否能够上升呢？单卡微调可以成功，但是耗时很长。 Environment - OS:EulorOS - Python:3.10 - Transformers:4.26.1 - PyTorch:1.12 - CUDA Support (`python -c

7热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] <我不得不说> 在配置不错的情况下，运行也慢，官方 demo respone 也是空的

配置： RTX 3090，显存 24G 12核 CPU 内存：43G 运行 api.py。回答很慢，最后回答出的内容，还是空的。respone 空在配置可以的情况下，速度快一些。内容能出来 clone 项目并配置好一切；运行 api.py 去进行模拟请求 - OS:Ubuntu 20.04 - Python: 3.8 - Transformers: 4.27.1 - PyTorch

5热度

14回答

[THUDM/ChatGLM-6B][Help] generate方法和chat方法的调用结果不一致

同一个内容总结的案例测试，使用generate方法生成的答案的token达到了300多个，而chat方法的token只有100多个，请问一下，这大概是什么原因？是有啥参数设置吗？因为想尝试通过generate方法去批量调用模型，发现效果·跟chat方法有出入，希望能够解决两种方法生成的答案token参数相差过大的问题。 - OS:Ubuntu 20.04 - Python：3.8 - T

10热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] 在有GPU的情况下，推理过程消耗CPU，并且只用CPU的1核

使用工程中的 api.py启动。进行推理，推理内容为： {"prompt": "帮我写一段java招聘信息，要求2年工作经验，会国产数据库，会rabbitmq，能需求分析", "history": []} 返回内容大概有240～270字不等。用jmeter进行压力测试，结果为如下图，10个并发下吞吐量4.5个每分钟过程中，发现有1核CPU使用率为100%，GPU使用率为44%，也就是CPU

5热度

6回答

[THUDM/ChatGLM-6B]ChatGLM-6B如何实现上下午关联？

使用response, history = model.chat(tokenizer, prompt, history=history) 并没有实现上下文关联。这个功能太重要了。目前每个问题都是独立的。上下文关联，这样可以根据回答内容，继续追问。

2热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 请问为什么 glm ptuning之后，回答问题之后自动接了一个提问，比如下面这个问题：《王者荣耀》有多火？是他自动接上的，我训练数据好像也没这个，是他自己库里面的吗

请问为什么 glm ptuning之后，回答问题之后自动接了一个提问，比如下面这个问题：《王者荣耀》有多火？是他自动接上的，我训练数据好像也没这个，是他自己库里面的吗欢迎使用 ChatGLM-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序用户：王者荣耀为啥火 ChatGLM-6B：王者荣耀是腾讯游戏开发的游戏，游戏类型，王者荣耀是一款多人在线战斗

0热度

9回答

[THUDM/ChatGLM-6B]开始训练了，这个是正常的吗？

# root@localhost:/paddle/chatGlmBase/ptuning# python main.py --do_train --train_file chat/train.json --validation_file chat/dev.json --prompt_column prompt --response_column summary --history_column

1热度

9回答

[THUDM/ChatGLM-6B][BUG/Help] OVERFLOW导致loss异常

在使用ds_train_finetune.sh加自己数据训练过程中，训练刚开始就会出现如下OVERFLOW的提示信息，训练过程中也时常出现。训练了一段时间，在出现OVERFLOW信息后，loss飙升。持续训练，直至最终出现Exception: Current loss scale already at minimum - cannot decrease scale anymore.

0热度

10回答

[THUDM/ChatGLM-6B]训练上7百万数据loss没有下降一走在3.x徘徊震荡怎么回事？还有训练完后并没有使用我的数据来回答，不知怎么回事？

训练上7百万数据loss没有下降一直在3.x徘徊震荡怎么回事？数据格式： {"prompt": "心率失常二度房室阻滞脑梗糖尿病心血管狭窄。遗传高血压，心脏病，糖尿病17年，2011年室上速手术后，2015年出现二度二型传导阻滞，2018 年脑梗。", "summary": "是否有症状？", "history": []} {"prompt": "现在有症状，每天有几次跳的跳的停一下，有时候一天

7热度

11回答

[THUDM/ChatGLM-6B]API server支持更好的并发

通过ThreadPoolExecutor异步执行model.chat 保证多路同时请求能并发响应.

10热度

6回答

[THUDM/ChatGLM-6B]为什么模型精度降低，推理耗时反而增大了？

我是用t4进行推理，它是支持int8和int4的输入长度为1000，int4需要32s，fp16只需要12s from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) model

1热度

18回答

[THUDM/ChatGLM-6B][BUG/Help] 有没有比较好的方式提升qps

使用int4量化版本模型加载，单卡显存只使用了1/3，但是使用的时候基本上qps只能到1，有没有比较好的方法，提升调用的qps？ Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`

7热度

5回答

[THUDM/ChatGLM-6B]tokenization中文标点符号会映射成英文标点符号

用预训练的ChatGLM做抽取任务的时候发现，抽取的标点符号会修改，发现中文标点符号encoder再decoder之后会转为英文标点。 e.g. :"，"会变成","。请问这么做是认为中英文标点符号表达意思一致，这样做减少训练成本嘛？但是可能在其它特定标点符号修正上是不是会有点问题？请问词表未来还有变更的计划嘛？

7热度

6回答

[THUDM/ChatGLM-6B][Help] <请问p-tuning 和 p-tuning V2 仅仅只修改prefix_projection 参数>吗

原code的ptuning里的train.sh脚本里没有加入prefix_projection参数，这样默认是通过p-tuning训练吗？我尝试增加参数 --prefix_projection True 但是出现训练报错显存不够？batch缩到很小也不行。报错：显示显存不足。但是我看示例代码的train.sh里面也没有写prefix_projection这个参数，而model默认

0热度

7回答

[THUDM/ChatGLM-6B]多卡部署高并发测试问题：部署可以平均分配显存，为啥推理预测时不行？

from utils import load_model_on_gpus model = load_model_on_gpus("THUDM/chatglm-6b", num_gpus=2) 使用以上官方代码部署多卡推理多卡部署高并发测试问题：部署阶段可以平均分配显存，为啥推理预测时不行？当我高并发测试时，其中一张卡显存一直在涨，另一张显卡显存占用始终不变。直到第一张显卡显存涨到顶就崩掉。为啥

10热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] 在对话时文本长度被限制了，对话不完整

对话不完整，有长度限制，回答戛然而止按着ptuning的readme走的，在启动了web——demo之后出现的 Environment - OS:ubuntu16 - Python:3.9 - Transformers:4.27.1 - PyTorch:2.0.1 - CUDA Support (`python -c "import torch; print(torch.cuda.is_

2热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 6B模型下怎么解决

我使用ChatGLM-6B模型，使用4bit量化训练，更换了 bell math的数据源，训练时报RuntimeError: expected scalar type Float but found Half，报错信息和执行命令如下 Traceback (most recent call last): File "main.py", line 434, in <module> main

10热度

7回答

[THUDM/ChatGLM-6B][Help] <使用deepspeed全量模型微调，内存不够用>

环境是5个RTX3090，300多GB内存，使用了deepspeed的zero3，把优化器和模型参数都offload到内存跑deepspeed全量模型微调跑到1000个step的时候，做checkpoint，写入文件失败，查询发现是内存不够想问问作者跑deepspeed的时候，用的服务器是多大内存期望可以正常跑完训练 deepspeed.json `{ "fp16": { "en