chatglm

9热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] 在官方Ptuning文档的帮助下，微调了模型，并加载了原模型和微调后的模型，但是却返回RuntimeError，BFloat16

您好，我使用官方的文档微调模型以后，加载后却出现该问题 RuntimeError: mixed dtype (CPU): expect input to have scalar type of BFloat16 config = AutoConfig.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True, pre_seq_le

9热度

6回答

[THUDM/ChatGLM-6B][Help] <torch1.7.1版本没有 skip_init 方法导致加载报错>

在自己电脑上部署GPU版本，由于cuda 版本原因，使用的pytorch为1.7.1，执行web_demo.py 报错，执行这个modeling_chatglm.py时报错，在这个版本下要怎么修改呢，能帮忙贴下代码吗，感谢在torch为1.7.1 时正常加载模型 python web-demo.py Environment - OS:window - Python:3.9 -

5热度

19回答

[THUDM/ChatGLM-6B]我发现长文本生成效果不容易调出来，特别容易出现重复例如“我吃饭了吗吗吗吗吗吗吗吗吗”

我发现长文本生成效果不容易调出来，特别容易出现重复例如“我吃饭了吗吗吗吗吗吗吗吗吗”，网上说是退化问题，即随着生成文本长度的增加其质量会逐渐降低，容易出现多种层次（字、短语、句子级）的重复生成。有没有大神给一些有效的经验。求大神指点训练长文本生成。 Environment - OS:ubuntu-18 - Python:3.8.13 - Transformers:4.28 - PyTor

1热度

8回答

[THUDM/ChatGLM-6B][Help] 每次运行都会出现 No compiled kernel found.

每次运行一遍 model = AutoModel.from_pretrained('./int4', trust_remote_code=True).half().cuda() 都会出现如下报错 No compiled kernel found. Compiling kernels : /home/devops/.cache/huggingface/modules/transformers_mod

4热度

12回答

[THUDM/ChatGLM-6B][BUG/Help] 请问如何基于之前的Ptuning模型，再次进行微调

已经训练了200次，生成了一个模型。再次执行训练时，又从头开始跑了 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

2热度

36回答

[THUDM/ChatGLM-6B]多gpu如何训练？预测是可以的，但是训练不行

多gpu运行问题预测的时候多gpu可以这样写： model = load_model_on_gpus("./THUDM/chatglm-6b", num_gpus=2) 但是训练的时候多了 config=config 参数怎么办： model = AutoModel.from_pretrained(model_args.model_name_or_path, config=config, tru

10热度

14回答

[THUDM/ChatGLM-6B]chatglm-int4 web_demo.py页面能加载出来但是输入你好 chatglm-6b一直没有回答

代码如下 from transformers import AutoModel, AutoTokenizer import gradio as gr # tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) # model = AutoModel.from_pretrained(

6热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] web_demo部署后无返回结果：RuntimeError: "LayerNormKernelImpl" not implemented for 'Half'

新的checkpoint，网页可以打开，但是无返回结果，部署代码如下： origin_checkpoint = '/devops/chatglm-6b' ptuning_checkpoint = '/devops/20230412/checkpoint-50000' config = AutoConfig.from_pretrained(origin_checkpoint, trust_remot

1热度

8回答

[THUDM/ChatGLM-6B]微调后，测试问答生成，确实能回答我给他学习的内容，但后面会追加很多其它文本这要怎么解决？

微调后，测试问答生成，确实能回答我给他学习的内容，但后面会追加很多其它文本这要怎么解决？ Environment - OS:centos 7.9 - Python:3.7.16 - Transformers:4.27.1 - PyTorch:1.13 - CUDA Support (`python -c "import torch; print(torch.cuda.is_availa

3热度

5回答

[THUDM/ChatGLM-6B]ptuning之后api预测

ptuning-v2微调之后模型是只保存 PrefixEncoder 部分的参数？用api.py预测是要加载原 ChatGLM-6B 模型以及微调后的权重吗？我用以下代码加载权重，有报错 ptuning-v2微调之后模型是只保存 PrefixEncoder 部分的参数？用api.py预测是要加载原 ChatGLM-6B 模型以及微调后的权重吗？我用以下代码加载权重，有报错 Env

3热度

13回答

[THUDM/ChatGLM-6B]Ptuing生成的prefix_encoder加载后，原来模型的语言能力消息了

1、原来的模型可以正常对话 2、ptuning后，加载prefix_encoder参数与原来的模型，原来的语言能力没有了，这个是正常的吗根据文档操作 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_avai

6热度

8回答

[THUDM/ChatGLM-6B][Help] <请问chatglm-6b有公开完整的训练代码吗？>

请问chatglm-6b有公开完整的训练代码吗？而不只是微调的代码？麻烦解答一下，多谢 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

5热度

5回答

[THUDM/ChatGLM-6B][Help] 请教个问题，我想微调chatglm以更好的完成text2sql的场景，请问prompt该怎么设计比较好?

我目前使用的prompt的格式类似这样的: ` _我们要将用户的问题翻译为一个mysql的sql语句。问题涉及的数据表的信息是：表名：a_activity_instance 表结构： activity_instance_id 活动实例ID activity_type_id 活动类型ID activity_code 活动编码 busi_category 业务类型，参见"活动业

9热度

6回答

[THUDM/ChatGLM-6B][Help] 为什么P-tuning v2 示例参数的step是3000？

作者您好~ADGEN 训练集里有近12w条数据，按照您提供的参数，step=3000，per_device_train_batch_size=16，一个epoch只能覆盖3000*16=48000条数据？是我理解的有问题吗？还是有其他的手段保证数据集上的full training

7热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] <ChatGLM-6B会不会开放GLM框架下的微调代码>

你好！目前ChatGLM-6B模型的微调代码是另外写的一套，请问后面会不会开放基于GLM代码框架的微调代码？（ChatGLM-10B是基于GLM框架进行微调） Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.i

3热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] 使用main.py进行全量微调训练后，输出一直为空

from transformers import AutoModel, AutoTokenizer import sys local_model_path = "my_local_checkpoint_path" model_path = "THUDM/chatglm-6b" # You can modify the path for storing the local model model

6热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] p-tuning如何使用多卡进行微调呢？

readme里只有多卡部署的方法，想咨询一下如何进行多卡微调？当前单卡微调速度非常之慢，仅50条数据就需要4小时+。如果使用多卡微调速度是否能够上升呢？单卡微调可以成功，但是耗时很长。 Environment - OS:EulorOS - Python:3.10 - Transformers:4.26.1 - PyTorch:1.12 - CUDA Support (`python -c

0热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] <我不得不说> 在配置不错的情况下，运行也慢，官方 demo respone 也是空的

配置： RTX 3090，显存 24G 12核 CPU 内存：43G 运行 api.py。回答很慢，最后回答出的内容，还是空的。respone 空在配置可以的情况下，速度快一些。内容能出来 clone 项目并配置好一切；运行 api.py 去进行模拟请求 - OS:Ubuntu 20.04 - Python: 3.8 - Transformers: 4.27.1 - PyTorch

2热度

14回答

[THUDM/ChatGLM-6B][Help] generate方法和chat方法的调用结果不一致

同一个内容总结的案例测试，使用generate方法生成的答案的token达到了300多个，而chat方法的token只有100多个，请问一下，这大概是什么原因？是有啥参数设置吗？因为想尝试通过generate方法去批量调用模型，发现效果·跟chat方法有出入，希望能够解决两种方法生成的答案token参数相差过大的问题。 - OS:Ubuntu 20.04 - Python：3.8 - T

3热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] 在有GPU的情况下，推理过程消耗CPU，并且只用CPU的1核

使用工程中的 api.py启动。进行推理，推理内容为： {"prompt": "帮我写一段java招聘信息，要求2年工作经验，会国产数据库，会rabbitmq，能需求分析", "history": []} 返回内容大概有240～270字不等。用jmeter进行压力测试，结果为如下图，10个并发下吞吐量4.5个每分钟过程中，发现有1核CPU使用率为100%，GPU使用率为44%，也就是CPU