Python

5热度

10回答

[PaddlePaddle/PaddleOCR]【OCR Issue No.9】移除明确不适合放在ppocr依赖中的依赖项

https://github.com/PaddlePaddle/PaddleOCR/issues/11906 task9 https://github.com/PaddlePaddle/PaddleOCR/issues/11924 为了减小paddleocr的依赖，将部分包移除requirement.txt，采用paddle.utils.try_import的方式引用，当用户使用到时，提示用户安装

5热度

22回答

[PaddlePaddle/PaddleOCR]paddleOCR运行印章比对模型报错

采用paddleOCR运行印章比对模型时报错系统环境/System Environment：win64 版本号/Version： Paddle：2.5.1 PaddleOCR：2.7.3 问题相关组件/Related components：tool/infer_e2e.py 运行指令/Command Code：python tools/infer_e2e.py -c configs/pgne

7热度

27回答

[PaddlePaddle/PaddleOCR]训练时，训练几天后最佳准确率显示0.43时，有的时候准确率就会变到0.25，这种只能加载最佳模型，重新启动训练吧

请提供下述完整信息以便快速定位问题/Please provide the following information to quickly locate the problem 系统环境/System Environment：版本号/Version：Paddle： PaddleOCR：2.7.5 问题相关组件/Related components：运行指令/Command Code：完

3热度

19回答

[protocolbuffers/protobuf]默认为 python 实现不一致，使用 cpp 时出现错误

您使用什么版本的 protobuf 以及什么语言？版本：3.17.3、3.18.0、3.18.1和3.19.0 语言：Python（版本3.7.2、3.8.6、3.9.0和3.10.0 什么操作系统（Linux、Windows...）和版本？ gLinux 您使用什么运行时/编译器（例如，python 版本或 gcc 版本） python 和/或 cpp 你做了什么？重现该行为的步骤：运行这

2热度

7回答

[THUDM/ChatGLM-6B]如何在领域数据上二次预训练

如何在领域数据上二次预训练

6热度

9回答

[THUDM/ChatGLM-6B]关于基于 ChatGLM-6B做增量预训练

Current Behavior 您好，我这边在尝试基于 ChatGLM-6B在领域数据上先做自监督增量预训练，然后再做指示微调。有几个问题想请教下您，望赐教： 1.您认为此方案可行性如何，基于ChatGLM-6B再做自监督预训练是否会严重损害之前获得的能力。 2.目前我采用的方案是完全基于 ChatGLM-6B代码做自监督预训练，仅能实现根据上文预测下文和问答对指示学习的任务，您认为这么做可行性

10热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] 随着对话轮数增加，有什么方法可以防止/减少ChatGLM的显存增加吗？

Current Behavior “进行 2 至 3 轮对话后，8-bit 量化下 GPU 显存占用约为 10GB，4-bit 量化下仅需 6GB 占用。随着对话轮数的增多，对应消耗显存也随之增长” 我使用ChatGLM实现一个角色扮演的应用，也遇到了类似问题。每次对话后，ChatGLM显存使用增加几百到1、2G。请问为什么会这样呢？是因为模型内部把上轮对话的历史保存了起来？有什么方法可以防

3热度

5回答

[THUDM/ChatGLM-6B]五万训练数据，lora微调 batchsize为2 目前跑了一个epoch，loss还是停留在2.0附近，没有下降正常吗

如何让loss下降到0.x ？ Steps To Reproduce _n_gpu=1, adafactor=False, adam_beta1=0.9, adam_beta2=0.999, adam_epsilon=1e-08, auto_find_batch_size=False, bf16=False, bf16_full_eval=False, data_seed=None, data

4热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] <请问大神们训练问答对形式,训练集以外的问题如何不回答呢?>

或者如何能获取当前问题的阈值? 请问大神们有什么意见吗? Steps To Reproduce 使用问答对训练模型,问了不想关的问题,chatglm会乱回答,如何能解决不回答训练集以外的问题呢? Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; pri

4热度

5回答

[THUDM/ChatGLM-6B]求大佬解决，我curl请求出现Internal Server Error

在win10命令行中出现Internal Server Error 在服务器中显示如下： ERROR: Exception in ASGI application Traceback (most recent call last): File "/home/bs2301/miniconda3/envs/chatglm/lib/python3.10/site-packages/uvicorn/

1热度

6回答

[THUDM/ChatGLM-6B]ptuning自己的数据，出现raise JSONDecodeError("Extra data", s, end) json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 259)

Generating train split: 43060 examples [00:00, 344470.14 examples/s]06/07/2023 08:42:53 - ERROR - datasets.packaged_modules.json.json - Failed to read file 'D:\PycharmProject\ChatGLM-6B\data\Child\tra

7热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning/train.sh 多卡微调就OOM，但是单卡能跑

train.sh如下： PRE_SEQ_LEN=128 LR=2e-2 CUDA_VISIBLE_DEVICES=2,3 python3 main.py \ --do_train \ --train_file data/PanguData/train.json \ --validation_file data/PanguData/dev.json \ --prompt_column content

2热度

9回答

[THUDM/ChatGLM-6B][BUG/Help] 请问AdvertiseGen目录下的dev.json和train.json有什么区别，训练自己的问题库时，这两个json如何写

Traceback (most recent call last): File "C:\ChatGLM-6B\ptuning\main.py", line 430, in main() File "C:\ChatGLM-6B\ptuning\main.py", line 99, in main raw_datasets = load_dataset( File "C:\Python\Python

1热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 如何执行api,py时，让它的workers数量大于1

api.py 中原版是 if name == 'main': tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half(

7热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] <请教下提供的量化脚本和hf的load_in_8bit有什么区别>

请教下提供的量化脚本和hf的load_in_8bit有什么区别 Environment - OS: Linux - Python: 3.9 - Transformers: 4.29.1 - PyTorch: 2.0 - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : True

2热度

9回答

[THUDM/ChatGLM-6B]从本地导入chatglm-6b-int4预训练时，却从缓存导入

tokenizer = AutoTokenizer.from_pretrained("model/chatglm-6b-int4", trust_remote_code=True) 我已经在目录下放置了model/chatglm-6b-int4文件夹，但模型坚持从.cache中导入，并报错： ModuleNotFoundError: No module named 'transformers_mo

9热度

17回答

[THUDM/ChatGLM-6B]批量推理api,支持高并发

修改自evaluate.py，支持多线程接受请求，设计了个请求池，当积累到一定数量(MAX_BATCH_SIZE)或等待到一定时间(MAX_WAIT_TIME)后，可以执行批量推理，大大加快了推理速度。可以根据需要设置MAX_BATCH_SIZE和MAX_WAIT_TIME这两个超参数

3热度

7回答

[THUDM/ChatGLM-6B]ptuning-v2单卡转多卡训练bug [BUG/Help]

在做ptuning-V2微调的时候，运行demo发现chatglm-6b只能进行单卡训练，在进行多卡训练时则会报错；如果把模型换成chatglm-6b-int8则可以运行，有遇到过这种问题的吗 CUDA_VISIBLE_DEVICES=0,1 python3 main.py \ --do_train \ --train_file AdvertiseGen/train.json \ --val

5热度

16回答

[THUDM/ChatGLM-6B]logits_prob 输出

### 模型解码过程中输出每个token的概率值 Solutions modeling_chatglm.py stream_generate function # sample probs = nn.functional.softmax(next_token_scores, dim=-1) if generation_co

9热度

6回答

[THUDM/ChatGLM-6B]使用huggingface + cahtglm6b单机多卡推理加速有更好的办法吗？

目前的行为实测主页util.py中的 from utils import load_model_on_gpus model = load_model_on_gpus("THUDM/chatglm-6b", num_gpus=4) 效果与https://huggingface.co/docs/transformers/perf_infer_gpu_one中 max_memory_mapping =