PyTorch

4热度

36回答

[THUDM/ChatGLM-6B]多gpu如何训练？预测是可以的，但是训练不行

多gpu运行问题预测的时候多gpu可以这样写： model = load_model_on_gpus("./THUDM/chatglm-6b", num_gpus=2) 但是训练的时候多了 config=config 参数怎么办： model = AutoModel.from_pretrained(model_args.model_name_or_path, config=config, tru

3热度

2回答

[2noise/ChatTTS]import ChatTTS出错

我该怎样安装ChatTTS？ How can i install ChatTTS ?

2热度

2回答

[2noise/ChatTTS]运行报错了INTERNAL ASSERT FAILED怎么解决啊？

在运行：wavs = chat.infer(texts, use_decoder=True) 时报了如下错误： --------------------------------------------------------------------------- RuntimeError Traceback (most recent cal

2热度

1回答

[2noise/ChatTTS]有没有GPU使用说明

6热度

7回答

[2noise/ChatTTS]速度问题，明明有GPU但是运行好慢

平均1.34it/s，这正常吗，怎么回事啊，显卡如下图：推理的时候根本没占用gpu，这是什么问题啊？

1热度

5回答

[2noise/ChatTTS]苹果 M1电脑运行时不支持 GPU 运算

WARNING:ChatTTS.utils.gpu_utils:No GPU found, use CPU instead INFO:ChatTTS.core:use cpu 虽然也有能用吧但速度有点慢

8热度

9回答

[2noise/ChatTTS]根据音色种子设定音色的标准方法的疑问

为方便测试，写了一个kivy小框架： import torch import ChatTTS from kivy.app import App from kivy.uix.boxlayout import BoxLayout from kivy.uix.button import Button from kivy.uix.textinput import TextInput from kivy.c

5热度

5回答

[2noise/ChatTTS]时长最长30秒是吗

时长最长30秒是吗

3热度

3回答

[2noise/ChatTTS]有些常用字比如“梓”怎么都会识别不了

这个又不是生僻字，怎么被系统识别的时候转成了几个随机的英文字母了呢？前后的汉字都没问题

7热度

10回答

[2noise/ChatTTS]推理太慢问题

如图情况是正常的么，第一步一直warning好久了才开始慢慢进行推理，出现这些warning是正常的么：然后我现在使用的cuda是11.8，发现第一步和第二步仍然没有gpu参与：我看给的实例是it/s，我的怎么s/it，也太慢了吧

9热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] <用自带广告数据P-tuning后，模型原有能力消失>

按照说明p-tuning自带的广告语数据后，加载训练后模型，原有能力基本消失，所有回答都和广告语相关，答非所问。如何保留原有能力的情况下p-tuning，感谢！如以上问题所述 Environment - OS: wsl Ubuntu - Python: 3.10 - Transformers:4.27.1 - PyTorch: 2.0.0 - CUDA Support (`python -

5热度

2回答

[Vision-CAIR/MiniGPT-4]请问如果一台主机上使用两块RTX 4090显卡，使用Pytorch加载Vicuna-13B模型，是否能将内存分配在两块显卡上？

目前4090显卡只有24GB内存，如果尝试加载Vicuna-13B模型可能会出现内存不足，能否在一块主板上插上两块4090显卡，使得两块显卡的内存合并使用？

8热度

14回答

[THUDM/ChatGLM-6B]chatglm-int4 web_demo.py页面能加载出来但是输入你好 chatglm-6b一直没有回答

代码如下 from transformers import AutoModel, AutoTokenizer import gradio as gr # tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) # model = AutoModel.from_pretrained(

3热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] web_demo部署后无返回结果：RuntimeError: "LayerNormKernelImpl" not implemented for 'Half'

新的checkpoint，网页可以打开，但是无返回结果，部署代码如下： origin_checkpoint = '/devops/chatglm-6b' ptuning_checkpoint = '/devops/20230412/checkpoint-50000' config = AutoConfig.from_pretrained(origin_checkpoint, trust_remot

3热度

8回答

[THUDM/ChatGLM-6B]微调后，测试问答生成，确实能回答我给他学习的内容，但后面会追加很多其它文本这要怎么解决？

微调后，测试问答生成，确实能回答我给他学习的内容，但后面会追加很多其它文本这要怎么解决？ Environment - OS:centos 7.9 - Python:3.7.16 - Transformers:4.27.1 - PyTorch:1.13 - CUDA Support (`python -c "import torch; print(torch.cuda.is_availa

9热度

5回答

[THUDM/ChatGLM-6B]ptuning之后api预测

ptuning-v2微调之后模型是只保存 PrefixEncoder 部分的参数？用api.py预测是要加载原 ChatGLM-6B 模型以及微调后的权重吗？我用以下代码加载权重，有报错 ptuning-v2微调之后模型是只保存 PrefixEncoder 部分的参数？用api.py预测是要加载原 ChatGLM-6B 模型以及微调后的权重吗？我用以下代码加载权重，有报错 Env

0热度

13回答

[THUDM/ChatGLM-6B]Ptuing生成的prefix_encoder加载后，原来模型的语言能力消息了

1、原来的模型可以正常对话 2、ptuning后，加载prefix_encoder参数与原来的模型，原来的语言能力没有了，这个是正常的吗根据文档操作 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_avai

8热度

8回答

[THUDM/ChatGLM-6B][Help] <请问chatglm-6b有公开完整的训练代码吗？>

请问chatglm-6b有公开完整的训练代码吗？而不只是微调的代码？麻烦解答一下，多谢 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

6热度

5回答

[THUDM/ChatGLM-6B][Help] 请教个问题，我想微调chatglm以更好的完成text2sql的场景，请问prompt该怎么设计比较好?

我目前使用的prompt的格式类似这样的: ` _我们要将用户的问题翻译为一个mysql的sql语句。问题涉及的数据表的信息是：表名：a_activity_instance 表结构： activity_instance_id 活动实例ID activity_type_id 活动类型ID activity_code 活动编码 busi_category 业务类型，参见"活动业

5热度

6回答

[THUDM/ChatGLM-6B][Help] 为什么P-tuning v2 示例参数的step是3000？

作者您好~ADGEN 训练集里有近12w条数据，按照您提供的参数，step=3000，per_device_train_batch_size=16，一个epoch只能覆盖3000*16=48000条数据？是我理解的有问题吗？还是有其他的手段保证数据集上的full training