ABSoft

最新提问

6热度

10回答

[babysor/MockingBird]如何解决colab炼丹每次都要上传数据集预处理数据集还爆磁盘的蛋疼问题

许多同鞋因为家里设备不佳训练模型效果不好，不得不去世界最大乞丐炼丹聚集地colab上训练。但是对于无法扩容google drive和升级colab的同鞋来说，上传数据集真的如同地狱一般，网速又慢空间又不够，而且每次重置都要上传，预处理令人头疼。我耗时9天终于解决了这个问题，现在给各位同学分享我的解决方案。首先要去kaggle这个网站上面注册一个账号，然后获取token 我已经把预处理了的数据集(

9热度

5回答

[THUDM/ChatGLM-6B]关于chatGLM-6B的embedding API接口

请问可以提供将问题或者描述转换成embedding向量的API吗？通过这个repo提供的chatGLM-6B embedding api可以获取 1、问题或者描述对应的向量 2、向量之间可以提供相似度的计算公式和结果并进行返回

5热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] GTX3060 Laptop运行int4-qe量化模型爆显存

使用cli_demo.py尝试第一次对话时出现爆显存，具体如下： Traceback (most recent call last): File "C:\gits\ChatGLM-6B\cli_demo.py", line 44, in <module> main() File "C:\gits\ChatGLM-6B\cli_demo.py", line 34, in

1热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] 显存爆满后无法释放

输入文本过长导致报错，提示显存不足，清空history并torch.cuda.empty_cache()后显存仍被占用，此时再输入新的问题依然可能出现报错显存不足。 del并重新加载model后显存仍然显示被占用，但输入同样的问题可以正常使用，请问除了重新加载model外还有其他办法吗？ torch.cuda.OutOfMemoryError: CUDA out of memory. Tri

8热度

6回答

[THUDM/ChatGLM-6B][Help] 是否支持多进程部署

api.py 文件提供了使用uvicorn 结合 FastAPI 进行部署的例子 uvicorn 服务器启动时，workers 数量设置为1，这是否是由于在多进程模式下，无法加载模型才这样设置的呢？使用python web框架部署时，是否支持多进程部署方式呢？ Environment - OS: - Python: - Transformers: - PyTorch: - CUDA S

4热度

8回答

[THUDM/ChatGLM-6B][Feature] 请问如何基于特定文本对其中的内容进行解答？

例如，我有一个博物馆的展品资料，我需要用这个资料作为模型的上下文环境，能够根据资料对用户的提问进行回答。使得用户提问关于展品的问题，模型能够给出正确的解答。

1热度

7回答

[THUDM/ChatGLM-6B]如何使用amd显卡运行此模型

如何使用amd显卡运行此模型 Environment - OS:CentOS 7.9 - Python:3.7 - Transformers:4.26.1 - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

8热度

6回答

[THUDM/ChatGLM-6B][Help] windows gpu 环境 chatglm-6b-int4-qe 报错：AttributeError: 'NoneType' object has no attribute 'int4WeightExtractionHalf'

windows gpu=6G显存环境，CPU启动可以正常使用。换成cuda启动web_demo，提问时报错。加载模型配置： model = AutoModel.from_pretrained("model", trust_remote_code=True).half().cuda() 错误信息： Traceback (most recent call last): File "C:\Pytho

5热度

8回答

[THUDM/ChatGLM-6B][Help] ptuning中的数据集如何使用？

如果想要训练自己的数据，无监督，非问答的。这个数据集应该如何改造？比如一篇文章，怎么填充成这种格式 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

3热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning之后如何使用新的模型

按照ptuning/README.md完成了ptuning的训练和推理，目前看generated_predictions.txt的结果均达到预期，请问如何使用checkpoint中训练后的模型？调用了半天都是各种报错，求大佬指条明路。能够正常调用微调后的模型进行chat 修改了web_demo.py中的路径及模型，但无法正常使用。 Environment OS: Ubuntu 20.04 P

9热度

7回答

[THUDM/ChatGLM-6B][Feature] 微调数据集怎样设计才能支持长文本分段输出

用 ptuning 做微调，希望输出长文本，并且输出的长文本能在多轮对话中依据上下文分段输出。譬如这样的 prompt 训练样本： { "q" : "怎样做一个煎蛋，请分段输出每一个步骤", "a"：“做煎蛋一共有三步。\n1. 开火，锅内加油至6成温度. \n2. 鸡蛋放入锅里，小火慢煎并翻面. \n3.起锅放入盘中，加少量生抽 ” } 微调后，希望得到下面的效果：问: 怎样做一个煎蛋，请分

5热度

10回答

[THUDM/ChatGLM-6B]关于p_tuning效果的疑问

请问为什么选择p_tuning而不是lora或者prefix_tuning，这三者孰优孰劣？然后就是，我使用glm6b原版模型，对广告生成数据集做了测试，发现效果本来就非常好，是不是原版模型已经加了这个数据集？导致微调看不出效果？下面图片是我用原版glm6b做的测试：

8热度

9回答

[THUDM/ChatGLM-6B][Help] 如何支持多显卡

公司内部使用，装了2卡，发现默认配置只有1卡在跑，请问如何使用才可以使用多卡 Environment OS: Ubuntu 20.04 Python: 3.8 Transformers: 4.26.1 PyTorch: 1.12 CUDA Support: True

4热度

14回答

[microsoft/playwright][功能] html-reporter 中的“接受新快照”按钮

大家好。最近，我们在项目中引入了使用 Playwright 的屏幕截图测试。这些测试效果很好 - 每次发布时它们都会发现 UI 错误。我们开始增加它们的数量，但很快就遇到了问题。我们的工作流程如下：我们在 Playwright 配置中创建了一个单独的项目 - 纯粹的 UI 测试，与功能测试分开运行。运行后 - 我们在标准 Playwright html-reporter 中查看结果。总的来说，它

3热度

7回答

[alibaba/tengine]反向代理websocket，关闭连接出现很多close_wait状态

如果并发数较大，会出现几千甚至一万多close_wait状态，查了一下这个肯定是程序bug，相同的条件使用caddy反代里websocket就没有任何close_wait状态，只有time_wait，

0热度

2回答

[alibaba/tengine]宝塔环境中，使用ssl/https时server_tag和trim功能均失效，http时正常

宝塔环境中，使用ssl/https时server_tag和trim功能均失效，http时正常。环境为宝塔6.8中安装的tengine 2.2.3

8热度

4回答

[alibaba/tengine]Tengine可以实现websocket的负载均衡吗？

Tengine可以实现websocket的负载均衡吗？已知nginx的ip_hash可以实现，但是ip_hash会破坏负载均衡， sticky模块的话，因为保持的是一个cookie，我公司的产品是APP，cookie的效果应该不是很好吧，而且nginx的sticky，我看2012年之后就没有更新了，不知道社区大神能指点一下吗？十分感谢

1热度

4回答

[alibaba/tengine]ngx_http_upstream_check_module 模块编译的问题

tengine版本： Tengine-2.3.0 ngx_http_upstream_check_module 模块在新版本怎么编译进去？默认开启的模块不包含这个模块。编译参数 --with-http_upstream_check_module 又不支持下载的源码的modules目录下，有ngx_http_upstream_check_module modules/ngx_http_upstre

2热度

3回答

[alibaba/tengine]关于ngx_http_dyups_module与nginx_upstream_check_module的更新合并问题

目前这2个模块原作者的master分支已经修复了模块存在的bug及新特性的支持，怎么没见tengine官方也纳入进来呢？ https://github.com/yzprofile/ngx_http_dyups_module https://github.com/yaoweibin/nginx_upstream_check_module

1热度

5回答

[alibaba/tengine]Tengine健康检查如何检查后端的ws

check interval=3000 rise=2 fall=5 timeout=1000 type=http; check_http_send "HEAD / HTTP/1.1\r\n\r\n"; check_http_expect_alive http_2xx http_3xx; 这样是检查后端的http，如果要检查后端的ws应该如何实现呢？