ABSoft

最新提问

4热度

11回答

[protocolbuffers/protobuf][Ruby] Message.decode/encode：添加 max_recursion_depth 选项

这允许通过将“max_recursion_depth”设置为所需的整数值来增加默认值 64 的递归深度。这对于编码或解码复杂的嵌套 protobuf 消息非常有用，否则这些消息会因 RuntimeError 或“解析期间发生错误”而出错。修复#1493

8热度

11回答

[protocolbuffers/protobuf]两个原始消息之间的双向映射/转换

这适用于什么语言？添加了 proto 语法（可以适用于 proto2 或 proto3，但对于 proto2 更好）。描述您正在尝试解决的问题。我正在尝试采用跨平台的方式来自动执行两个原始消息之间的转换。对于重构、API 更改等非常有用。当您想要在不破坏现有 API 的情况下创建更好的原型消息时。描述您想要的解决方案使用原始注释（如protoc-gen-validate）在旧字段到新字

9热度

16回答

[protocolbuffers/protobuf]com.google.protobuf.GenerateMessageV3.isStringEmpty 应该是公开的

版本：v3.19.1 语言：Java 操作系统：Windows 10 从 .proto 文件编译 protoc 3.19.1 生成的 java 源代码时，出现以下错误： error: cannot find symbol if (!com.google.protobuf.GeneratedMessageV3.isStringEmpty(appId_)) {

0热度

7回答

[THUDM/ChatGLM-6B]如何在领域数据上二次预训练

如何在领域数据上二次预训练

7热度

9回答

[THUDM/ChatGLM-6B]关于基于 ChatGLM-6B做增量预训练

Current Behavior 您好，我这边在尝试基于 ChatGLM-6B在领域数据上先做自监督增量预训练，然后再做指示微调。有几个问题想请教下您，望赐教： 1.您认为此方案可行性如何，基于ChatGLM-6B再做自监督预训练是否会严重损害之前获得的能力。 2.目前我采用的方案是完全基于 ChatGLM-6B代码做自监督预训练，仅能实现根据上文预测下文和问答对指示学习的任务，您认为这么做可行性

2热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] 随着对话轮数增加，有什么方法可以防止/减少ChatGLM的显存增加吗？

Current Behavior “进行 2 至 3 轮对话后，8-bit 量化下 GPU 显存占用约为 10GB，4-bit 量化下仅需 6GB 占用。随着对话轮数的增多，对应消耗显存也随之增长” 我使用ChatGLM实现一个角色扮演的应用，也遇到了类似问题。每次对话后，ChatGLM显存使用增加几百到1、2G。请问为什么会这样呢？是因为模型内部把上轮对话的历史保存了起来？有什么方法可以防

4热度

5回答

[THUDM/ChatGLM-6B]五万训练数据，lora微调 batchsize为2 目前跑了一个epoch，loss还是停留在2.0附近，没有下降正常吗

如何让loss下降到0.x ？ Steps To Reproduce _n_gpu=1, adafactor=False, adam_beta1=0.9, adam_beta2=0.999, adam_epsilon=1e-08, auto_find_batch_size=False, bf16=False, bf16_full_eval=False, data_seed=None, data

5热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] <请问大神们训练问答对形式,训练集以外的问题如何不回答呢?>

或者如何能获取当前问题的阈值? 请问大神们有什么意见吗? Steps To Reproduce 使用问答对训练模型,问了不想关的问题,chatglm会乱回答,如何能解决不回答训练集以外的问题呢? Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; pri

5热度

5回答

[THUDM/ChatGLM-6B]求大佬解决，我curl请求出现Internal Server Error

在win10命令行中出现Internal Server Error 在服务器中显示如下： ERROR: Exception in ASGI application Traceback (most recent call last): File "/home/bs2301/miniconda3/envs/chatglm/lib/python3.10/site-packages/uvicorn/

1热度

6回答

[THUDM/ChatGLM-6B]ptuning自己的数据，出现raise JSONDecodeError("Extra data", s, end) json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 259)

Generating train split: 43060 examples [00:00, 344470.14 examples/s]06/07/2023 08:42:53 - ERROR - datasets.packaged_modules.json.json - Failed to read file 'D:\PycharmProject\ChatGLM-6B\data\Child\tra

4热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning/train.sh 多卡微调就OOM，但是单卡能跑

train.sh如下： PRE_SEQ_LEN=128 LR=2e-2 CUDA_VISIBLE_DEVICES=2,3 python3 main.py \ --do_train \ --train_file data/PanguData/train.json \ --validation_file data/PanguData/dev.json \ --prompt_column content

2热度

9回答

[THUDM/ChatGLM-6B][BUG/Help] 请问AdvertiseGen目录下的dev.json和train.json有什么区别，训练自己的问题库时，这两个json如何写

Traceback (most recent call last): File "C:\ChatGLM-6B\ptuning\main.py", line 430, in main() File "C:\ChatGLM-6B\ptuning\main.py", line 99, in main raw_datasets = load_dataset( File "C:\Python\Python

1热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] 如何执行api,py时，让它的workers数量大于1

api.py 中原版是 if name == 'main': tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half(

6热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] <请教下提供的量化脚本和hf的load_in_8bit有什么区别>

请教下提供的量化脚本和hf的load_in_8bit有什么区别 Environment - OS: Linux - Python: 3.9 - Transformers: 4.29.1 - PyTorch: 2.0 - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : True

2热度

9回答

[THUDM/ChatGLM-6B]从本地导入chatglm-6b-int4预训练时，却从缓存导入

tokenizer = AutoTokenizer.from_pretrained("model/chatglm-6b-int4", trust_remote_code=True) 我已经在目录下放置了model/chatglm-6b-int4文件夹，但模型坚持从.cache中导入，并报错： ModuleNotFoundError: No module named 'transformers_mo

7热度

17回答

[THUDM/ChatGLM-6B]批量推理api,支持高并发

修改自evaluate.py，支持多线程接受请求，设计了个请求池，当积累到一定数量(MAX_BATCH_SIZE)或等待到一定时间(MAX_WAIT_TIME)后，可以执行批量推理，大大加快了推理速度。可以根据需要设置MAX_BATCH_SIZE和MAX_WAIT_TIME这两个超参数

6热度

7回答

[THUDM/ChatGLM-6B]ptuning-v2单卡转多卡训练bug [BUG/Help]

在做ptuning-V2微调的时候，运行demo发现chatglm-6b只能进行单卡训练，在进行多卡训练时则会报错；如果把模型换成chatglm-6b-int8则可以运行，有遇到过这种问题的吗 CUDA_VISIBLE_DEVICES=0,1 python3 main.py \ --do_train \ --train_file AdvertiseGen/train.json \ --val

8热度

16回答

[THUDM/ChatGLM-6B]logits_prob 输出

### 模型解码过程中输出每个token的概率值 Solutions modeling_chatglm.py stream_generate function # sample probs = nn.functional.softmax(next_token_scores, dim=-1) if generation_co

10热度

6回答

[THUDM/ChatGLM-6B]使用huggingface + cahtglm6b单机多卡推理加速有更好的办法吗？

目前的行为实测主页util.py中的 from utils import load_model_on_gpus model = load_model_on_gpus("THUDM/chatglm-6b", num_gpus=4) 效果与https://huggingface.co/docs/transformers/perf_infer_gpu_one中 max_memory_mapping =

4热度

9回答

[alibaba/easyexcel]导出excel，其中图片在Microsoft Office正常显示，在WPS Office显示不了。

导出代码： ExcelWriterSheetBuilder builder = EasyExcel.write(response.getOutputStream()) // 默认自动关闭流，出现异常时会返回一个有部分数据的Excel。这里设置不关闭流，由catch处理，返回错误json .autoCloseStream(Boolean.FALSE)