PyTorch

4热度

7回答

如何在领域数据上二次预训练

3热度

9回答

Current Behavior 您好，我这边在尝试基于 ChatGLM-6B在领域数据上先做自监督增量预训练，然后再做指示微调。有几个问题想请教下您，望赐教： 1.您认为此方案可行性如何，基于ChatGLM-6B再做自监督预训练是否会严重损害之前获得的能力。 2.目前我采用的方案是完全基于 ChatGLM-6B代码做自监督预训练，仅能实现根据上文预测下文和问答对指示学习的任务，您认为这么做可行性

6热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] 随着对话轮数增加，有什么方法可以防止/减少ChatGLM的显存增加吗？

Current Behavior “进行 2 至 3 轮对话后，8-bit 量化下 GPU 显存占用约为 10GB，4-bit 量化下仅需 6GB 占用。随着对话轮数的增多，对应消耗显存也随之增长” 我使用ChatGLM实现一个角色扮演的应用，也遇到了类似问题。每次对话后，ChatGLM显存使用增加几百到1、2G。请问为什么会这样呢？是因为模型内部把上轮对话的历史保存了起来？有什么方法可以防

3热度

5回答

[THUDM/ChatGLM-6B]五万训练数据，lora微调 batchsize为2 目前跑了一个epoch，loss还是停留在2.0附近，没有下降正常吗

如何让loss下降到0.x ？ Steps To Reproduce _n_gpu=1, adafactor=False, adam_beta1=0.9, adam_beta2=0.999, adam_epsilon=1e-08, auto_find_batch_size=False, bf16=False, bf16_full_eval=False, data_seed=None, data

2热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] <请问大神们训练问答对形式,训练集以外的问题如何不回答呢?>

或者如何能获取当前问题的阈值? 请问大神们有什么意见吗? Steps To Reproduce 使用问答对训练模型,问了不想关的问题,chatglm会乱回答,如何能解决不回答训练集以外的问题呢? Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; pri

8热度

5回答

[THUDM/ChatGLM-6B]求大佬解决，我curl请求出现Internal Server Error

在win10命令行中出现Internal Server Error 在服务器中显示如下： ERROR: Exception in ASGI application Traceback (most recent call last): File "/home/bs2301/miniconda3/envs/chatglm/lib/python3.10/site-packages/uvicorn/

7热度

6回答

[THUDM/ChatGLM-6B]ptuning自己的数据，出现raise JSONDecodeError("Extra data", s, end) json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 259)

Generating train split: 43060 examples [00:00, 344470.14 examples/s]06/07/2023 08:42:53 - ERROR - datasets.packaged_modules.json.json - Failed to read file 'D:\PycharmProject\ChatGLM-6B\data\Child\tra

6热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning/train.sh 多卡微调就OOM，但是单卡能跑

train.sh如下： PRE_SEQ_LEN=128 LR=2e-2 CUDA_VISIBLE_DEVICES=2,3 python3 main.py \ --do_train \ --train_file data/PanguData/train.json \ --validation_file data/PanguData/dev.json \ --prompt_column content

10热度

9回答

[THUDM/ChatGLM-6B][BUG/Help] 请问AdvertiseGen目录下的dev.json和train.json有什么区别，训练自己的问题库时，这两个json如何写

Traceback (most recent call last): File "C:\ChatGLM-6B\ptuning\main.py", line 430, in main() File "C:\ChatGLM-6B\ptuning\main.py", line 99, in main raw_datasets = load_dataset( File "C:\Python\Python

0热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 如何执行api,py时，让它的workers数量大于1

api.py 中原版是 if name == 'main': tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half(

4热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] <请教下提供的量化脚本和hf的load_in_8bit有什么区别>

请教下提供的量化脚本和hf的load_in_8bit有什么区别 Environment - OS: Linux - Python: 3.9 - Transformers: 4.29.1 - PyTorch: 2.0 - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : True

10热度

9回答

[THUDM/ChatGLM-6B]从本地导入chatglm-6b-int4预训练时，却从缓存导入

tokenizer = AutoTokenizer.from_pretrained("model/chatglm-6b-int4", trust_remote_code=True) 我已经在目录下放置了model/chatglm-6b-int4文件夹，但模型坚持从.cache中导入，并报错： ModuleNotFoundError: No module named 'transformers_mo

1热度

17回答

[THUDM/ChatGLM-6B]批量推理api,支持高并发

修改自evaluate.py，支持多线程接受请求，设计了个请求池，当积累到一定数量(MAX_BATCH_SIZE)或等待到一定时间(MAX_WAIT_TIME)后，可以执行批量推理，大大加快了推理速度。可以根据需要设置MAX_BATCH_SIZE和MAX_WAIT_TIME这两个超参数

7热度

7回答

[THUDM/ChatGLM-6B]ptuning-v2单卡转多卡训练bug [BUG/Help]

在做ptuning-V2微调的时候，运行demo发现chatglm-6b只能进行单卡训练，在进行多卡训练时则会报错；如果把模型换成chatglm-6b-int8则可以运行，有遇到过这种问题的吗 CUDA_VISIBLE_DEVICES=0,1 python3 main.py \ --do_train \ --train_file AdvertiseGen/train.json \ --val

5热度

16回答

[THUDM/ChatGLM-6B]logits_prob 输出

### 模型解码过程中输出每个token的概率值 Solutions modeling_chatglm.py stream_generate function # sample probs = nn.functional.softmax(next_token_scores, dim=-1) if generation_co

6热度

6回答

[THUDM/ChatGLM-6B]使用huggingface + cahtglm6b单机多卡推理加速有更好的办法吗？

目前的行为实测主页util.py中的 from utils import load_model_on_gpus model = load_model_on_gpus("THUDM/chatglm-6b", num_gpus=4) 效果与https://huggingface.co/docs/transformers/perf_infer_gpu_one中 max_memory_mapping =

5热度

30回答

[pytorch]分布式训练在第二个纪元关闭

问题描述嗨，大家好。我正在尝试使用 DistributedDataParallel 在单节点和 8 个 GPU 上训练 resnet 模型。在第一个时期一切都很好。但是，当第二个纪元开始时，脚本关闭，没有任何错误报告。我尝试跟踪代码并发现代码停止于： for batch_idx, (data, label) in enumerate(train_loader, 0): 同时，我创建了一个包含 3

6热度

36回答

[pytorch]PyTorch什么时候可以支持RTX系列GPU？

？特征现在Pytorch无法直接支持cuda10，因此无法在RTX系列GPU上运行动机只是想让 Pytorch 尽快在我的 RTX 2080ti 上运行，谢谢

8热度

29回答

[pytorch]从 torch.* 函数返回命名元组，并为 C++ 运算符提供多个返回参数

部分修复：https ://github.com/pytorch/pytorch/issues/394 实施细节： Codegen 被修改为生成如下所示的代码： static PyObject * THPVariable_svd(PyObject* self_, PyObject* args, PyObject* kwargs) { HANDLE_TH_ERRORS static Pyth

6热度

30回答

[pytorch]使用 CUDA 10 Graphs API 的静态图

？特征 CUDA 10 发布了一项名为 CUDA Graphs 的新功能，它允许您构建静态图，从而最大限度地减少启动多个内核的开销。该 API 附带的函数允许您捕获流（也支持多个流）并将其转换为 CUDA 图形。将此功能暴露给 pytorch 对于许多应用程序来说非常有益。动机当使用小内核时，在不增加复杂性的情况下最小化任何开销非常重要。沥青我提出类似的建议： g = CUDAGraph(