Python

7热度

4回答

[babysor/MockingBird]怎么用GPU训练呢？@zhuzaileiting 你这是用cpu训练的，GPU速度大概在1.3-2 steps/s

@zhuzaileiting 你这是用cpu训练的，GPU速度大概在1.3-2 steps/s Originally posted by @miven in https://github.com/babysor/MockingBird/issues/20#issuecomment-903427845

10热度

7回答

[babysor/MockingBird]每次跑训练时候会报Could not load symbol cublasGetSmCountTarget from cublas64_11.dll. Error code 127

每次跑训练时候会报Could not load symbol cublasGetSmCountTarget from cublas64_11.dll. Error code 127 但是还是可以继续跑，有大佬知道这个错有什么影响吗？

3热度

3回答

[babysor/MockingBird]预处理数据只能检测到少数几条，不完全

我大约做了校对了百来条，但是只会被检测到5条，整体重命名后被检测出的还是那固定5条

9热度

3回答

[babysor/MockingBird]无论是否自己训练，都有电流和沙沙声，自己训练更严重

无论是否自己训练，都有电流和沙沙声，自己训练更严重求救，求群交流！

1热度

10回答

[babysor/MockingBird]如何解决colab炼丹每次都要上传数据集预处理数据集还爆磁盘的蛋疼问题

许多同鞋因为家里设备不佳训练模型效果不好，不得不去世界最大乞丐炼丹聚集地colab上训练。但是对于无法扩容google drive和升级colab的同鞋来说，上传数据集真的如同地狱一般，网速又慢空间又不够，而且每次重置都要上传，预处理令人头疼。我耗时9天终于解决了这个问题，现在给各位同学分享我的解决方案。首先要去kaggle这个网站上面注册一个账号，然后获取token 我已经把预处理了的数据集(

4热度

5回答

[THUDM/ChatGLM-6B]关于chatGLM-6B的embedding API接口

请问可以提供将问题或者描述转换成embedding向量的API吗？通过这个repo提供的chatGLM-6B embedding api可以获取 1、问题或者描述对应的向量 2、向量之间可以提供相似度的计算公式和结果并进行返回

1热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] GTX3060 Laptop运行int4-qe量化模型爆显存

使用cli_demo.py尝试第一次对话时出现爆显存，具体如下： Traceback (most recent call last): File "C:\gits\ChatGLM-6B\cli_demo.py", line 44, in <module> main() File "C:\gits\ChatGLM-6B\cli_demo.py", line 34, in

3热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] 显存爆满后无法释放

输入文本过长导致报错，提示显存不足，清空history并torch.cuda.empty_cache()后显存仍被占用，此时再输入新的问题依然可能出现报错显存不足。 del并重新加载model后显存仍然显示被占用，但输入同样的问题可以正常使用，请问除了重新加载model外还有其他办法吗？ torch.cuda.OutOfMemoryError: CUDA out of memory. Tri

5热度

6回答

[THUDM/ChatGLM-6B][Help] 是否支持多进程部署

api.py 文件提供了使用uvicorn 结合 FastAPI 进行部署的例子 uvicorn 服务器启动时，workers 数量设置为1，这是否是由于在多进程模式下，无法加载模型才这样设置的呢？使用python web框架部署时，是否支持多进程部署方式呢？ Environment - OS: - Python: - Transformers: - PyTorch: - CUDA S

3热度

8回答

[THUDM/ChatGLM-6B][Feature] 请问如何基于特定文本对其中的内容进行解答？

例如，我有一个博物馆的展品资料，我需要用这个资料作为模型的上下文环境，能够根据资料对用户的提问进行回答。使得用户提问关于展品的问题，模型能够给出正确的解答。

4热度

7回答

[THUDM/ChatGLM-6B]如何使用amd显卡运行此模型

如何使用amd显卡运行此模型 Environment - OS:CentOS 7.9 - Python:3.7 - Transformers:4.26.1 - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

3热度

6回答

[THUDM/ChatGLM-6B][Help] windows gpu 环境 chatglm-6b-int4-qe 报错：AttributeError: 'NoneType' object has no attribute 'int4WeightExtractionHalf'

windows gpu=6G显存环境，CPU启动可以正常使用。换成cuda启动web_demo，提问时报错。加载模型配置： model = AutoModel.from_pretrained("model", trust_remote_code=True).half().cuda() 错误信息： Traceback (most recent call last): File "C:\Pytho

5热度

8回答

[THUDM/ChatGLM-6B][Help] ptuning中的数据集如何使用？

如果想要训练自己的数据，无监督，非问答的。这个数据集应该如何改造？比如一篇文章，怎么填充成这种格式 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

2热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning之后如何使用新的模型

按照ptuning/README.md完成了ptuning的训练和推理，目前看generated_predictions.txt的结果均达到预期，请问如何使用checkpoint中训练后的模型？调用了半天都是各种报错，求大佬指条明路。能够正常调用微调后的模型进行chat 修改了web_demo.py中的路径及模型，但无法正常使用。 Environment OS: Ubuntu 20.04 P

8热度

7回答

[THUDM/ChatGLM-6B][Feature] 微调数据集怎样设计才能支持长文本分段输出

用 ptuning 做微调，希望输出长文本，并且输出的长文本能在多轮对话中依据上下文分段输出。譬如这样的 prompt 训练样本： { "q" : "怎样做一个煎蛋，请分段输出每一个步骤", "a"：“做煎蛋一共有三步。\n1. 开火，锅内加油至6成温度. \n2. 鸡蛋放入锅里，小火慢煎并翻面. \n3.起锅放入盘中，加少量生抽 ” } 微调后，希望得到下面的效果：问: 怎样做一个煎蛋，请分

0热度

10回答

[THUDM/ChatGLM-6B]关于p_tuning效果的疑问

请问为什么选择p_tuning而不是lora或者prefix_tuning，这三者孰优孰劣？然后就是，我使用glm6b原版模型，对广告生成数据集做了测试，发现效果本来就非常好，是不是原版模型已经加了这个数据集？导致微调看不出效果？下面图片是我用原版glm6b做的测试：

8热度

9回答

[THUDM/ChatGLM-6B][Help] 如何支持多显卡

公司内部使用，装了2卡，发现默认配置只有1卡在跑，请问如何使用才可以使用多卡 Environment OS: Ubuntu 20.04 Python: 3.8 Transformers: 4.26.1 PyTorch: 1.12 CUDA Support: True

2热度

12回答

[PaddlePaddle/PaddleOCR]表格识别自定义模型问题

系统环境/System Environment：Ubuntu 16 版本号/Version：Paddle：2.3.2-GPU PaddleOCR：2.6 问题相关组件/Related components：运行指令/Command Code： !python ppstructure/table/predict_table.py \ --det_model_dir=/data/l

10热度

12回答

[PaddlePaddle/PaddleOCR]印章弯曲文本识别

小批量数据使用det_r50_db++_icdar15.yml，进行训练（使用的是ResNet50_dcn_asf_synthtext_pretrained.pdparams预训练模型），loss最终只能降到0.4左右，拿训练集直接进行评估的，recall和precision一直低于0.1，在配置文件部分也加了use_polygon: true该参数,标注格式如下(弯曲部分均采用16点或8点均

9热度

12回答

[PaddlePaddle/PaddleOCR]KIE训练按照文档训练自己的数据集出错

2022/10/13 01:02:57] ppocr INFO: Architecture : [2022/10/13 01:02:57] ppocr INFO: Backbone : [2022/10/13 01:02:57] ppocr INFO: checkpoints : ../output/ser_vi_layoutxlm_xfund_zh/best_accura