PyTorch

8热度

10回答

[babysor/MockingBird]如何解决colab炼丹每次都要上传数据集预处理数据集还爆磁盘的蛋疼问题

许多同鞋因为家里设备不佳训练模型效果不好，不得不去世界最大乞丐炼丹聚集地colab上训练。但是对于无法扩容google drive和升级colab的同鞋来说，上传数据集真的如同地狱一般，网速又慢空间又不够，而且每次重置都要上传，预处理令人头疼。我耗时9天终于解决了这个问题，现在给各位同学分享我的解决方案。首先要去kaggle这个网站上面注册一个账号，然后获取token 我已经把预处理了的数据集(

5热度

5回答

[THUDM/ChatGLM-6B]关于chatGLM-6B的embedding API接口

请问可以提供将问题或者描述转换成embedding向量的API吗？通过这个repo提供的chatGLM-6B embedding api可以获取 1、问题或者描述对应的向量 2、向量之间可以提供相似度的计算公式和结果并进行返回

0热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] GTX3060 Laptop运行int4-qe量化模型爆显存

使用cli_demo.py尝试第一次对话时出现爆显存，具体如下： Traceback (most recent call last): File "C:\gits\ChatGLM-6B\cli_demo.py", line 44, in <module> main() File "C:\gits\ChatGLM-6B\cli_demo.py", line 34, in

1热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] 显存爆满后无法释放

输入文本过长导致报错，提示显存不足，清空history并torch.cuda.empty_cache()后显存仍被占用，此时再输入新的问题依然可能出现报错显存不足。 del并重新加载model后显存仍然显示被占用，但输入同样的问题可以正常使用，请问除了重新加载model外还有其他办法吗？ torch.cuda.OutOfMemoryError: CUDA out of memory. Tri

1热度

6回答

[THUDM/ChatGLM-6B][Help] 是否支持多进程部署

api.py 文件提供了使用uvicorn 结合 FastAPI 进行部署的例子 uvicorn 服务器启动时，workers 数量设置为1，这是否是由于在多进程模式下，无法加载模型才这样设置的呢？使用python web框架部署时，是否支持多进程部署方式呢？ Environment - OS: - Python: - Transformers: - PyTorch: - CUDA S

0热度

8回答

[THUDM/ChatGLM-6B][Feature] 请问如何基于特定文本对其中的内容进行解答？

例如，我有一个博物馆的展品资料，我需要用这个资料作为模型的上下文环境，能够根据资料对用户的提问进行回答。使得用户提问关于展品的问题，模型能够给出正确的解答。

7热度

7回答

[THUDM/ChatGLM-6B]如何使用amd显卡运行此模型

如何使用amd显卡运行此模型 Environment - OS:CentOS 7.9 - Python:3.7 - Transformers:4.26.1 - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

9热度

6回答

[THUDM/ChatGLM-6B][Help] windows gpu 环境 chatglm-6b-int4-qe 报错：AttributeError: 'NoneType' object has no attribute 'int4WeightExtractionHalf'

windows gpu=6G显存环境，CPU启动可以正常使用。换成cuda启动web_demo，提问时报错。加载模型配置： model = AutoModel.from_pretrained("model", trust_remote_code=True).half().cuda() 错误信息： Traceback (most recent call last): File "C:\Pytho

2热度

8回答

[THUDM/ChatGLM-6B][Help] ptuning中的数据集如何使用？

如果想要训练自己的数据，无监督，非问答的。这个数据集应该如何改造？比如一篇文章，怎么填充成这种格式 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

7热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning之后如何使用新的模型

按照ptuning/README.md完成了ptuning的训练和推理，目前看generated_predictions.txt的结果均达到预期，请问如何使用checkpoint中训练后的模型？调用了半天都是各种报错，求大佬指条明路。能够正常调用微调后的模型进行chat 修改了web_demo.py中的路径及模型，但无法正常使用。 Environment OS: Ubuntu 20.04 P

3热度

7回答

[THUDM/ChatGLM-6B][Feature] 微调数据集怎样设计才能支持长文本分段输出

用 ptuning 做微调，希望输出长文本，并且输出的长文本能在多轮对话中依据上下文分段输出。譬如这样的 prompt 训练样本： { "q" : "怎样做一个煎蛋，请分段输出每一个步骤", "a"：“做煎蛋一共有三步。\n1. 开火，锅内加油至6成温度. \n2. 鸡蛋放入锅里，小火慢煎并翻面. \n3.起锅放入盘中，加少量生抽 ” } 微调后，希望得到下面的效果：问: 怎样做一个煎蛋，请分

2热度

10回答

[THUDM/ChatGLM-6B]关于p_tuning效果的疑问

请问为什么选择p_tuning而不是lora或者prefix_tuning，这三者孰优孰劣？然后就是，我使用glm6b原版模型，对广告生成数据集做了测试，发现效果本来就非常好，是不是原版模型已经加了这个数据集？导致微调看不出效果？下面图片是我用原版glm6b做的测试：

7热度

9回答

[THUDM/ChatGLM-6B][Help] 如何支持多显卡

公司内部使用，装了2卡，发现默认配置只有1卡在跑，请问如何使用才可以使用多卡 Environment OS: Ubuntu 20.04 Python: 3.8 Transformers: 4.26.1 PyTorch: 1.12 CUDA Support: True

4热度

4回答

[babysor/MockingBird]请问VC模式怎么用

我的Demo BOX运行和训练都没有问题，但是VC模式界面里那个第一步的Seslect（选择为被转换的语音输入）一直按了没有任何反应，请指导

10热度

3回答

[babysor/MockingBird]运行数据集：assert args.dataset in recognized_datasets, 'is not supported,

train文件夹在E:\aidatatang_200zh_2\aidatatang_200zh\corpus，根目录就是E:\aidatatang_200zh_2吧？但是好像不太对劲，如图

2热度

5回答

[babysor/MockingBird]请问使用预设模型还需要怎样的操作，是我哪里配置出问题了吗，都仅生成1秒左右的电流声音

弄了两天不知道问题在哪里，望指路，使用的模型有miven跟FawenYo的，都是一样的结果，是我哪里配置出问题了吗

3热度

4回答

[babysor/MockingBird]合成器训练的loss一直在0.49附近震荡，无法降低

你好，想请教一下，使用了 aidatatang_200zh，aishell3，magicdata 这三个数据集合并在一起训练合成器，大概从50k步开始，运行到123k步，loss值都在0.49附近震荡，没法进一步收敛。请指教一下方向，应该如何处理。另外，请问有没有可供交流的微信群或QQ群？谢谢！

7热度

5回答

[babysor/MockingBird]训练时出现问题

使用nvidia官方pytorch23.01 docker镜像进行训练时，经常出现Floating point exception然后中断训练 python版本3.8.10 使用win11系统训练时会出现训练完一个epoch后卡住，不继续训练，任务管理器cuda占用降到0，ctrl+c无法结束，只能关掉cmd窗口重新打开，python版本3.9.0，显卡为RTX 4090，cuda11.3

3热度

4回答

[babysor/MockingBird]中英模型怎么训练

想要同时支持中文和英文的播报，怎么训练模型啊？

1热度

3回答

[babysor/MockingBird]自问自答-新版本如何训练合成器

众所周知新版本把synthesizer_train.py文件挪到了...\control\cli，并且更新了依赖库，但是依赖库里面有一个models的依赖常规的pip install根本装不上，配套的文档也没有，其实你只需要将主目录下的models、monotonic_align、utils放到{python安装目录}\Python\Python39\Lib\site-packages中再按照文档