chatglm

6热度

5回答

[THUDM/ChatGLM-6B]关于chatGLM-6B的embedding API接口

请问可以提供将问题或者描述转换成embedding向量的API吗？通过这个repo提供的chatGLM-6B embedding api可以获取 1、问题或者描述对应的向量 2、向量之间可以提供相似度的计算公式和结果并进行返回

5热度

5回答

[THUDM/ChatGLM-6B][BUG/Help] GTX3060 Laptop运行int4-qe量化模型爆显存

使用cli_demo.py尝试第一次对话时出现爆显存，具体如下： Traceback (most recent call last): File "C:\gits\ChatGLM-6B\cli_demo.py", line 44, in <module> main() File "C:\gits\ChatGLM-6B\cli_demo.py", line 34, in

2热度

7回答

[THUDM/ChatGLM-6B][BUG/Help] 显存爆满后无法释放

输入文本过长导致报错，提示显存不足，清空history并torch.cuda.empty_cache()后显存仍被占用，此时再输入新的问题依然可能出现报错显存不足。 del并重新加载model后显存仍然显示被占用，但输入同样的问题可以正常使用，请问除了重新加载model外还有其他办法吗？ torch.cuda.OutOfMemoryError: CUDA out of memory. Tri

0热度

6回答

[THUDM/ChatGLM-6B][Help] 是否支持多进程部署

api.py 文件提供了使用uvicorn 结合 FastAPI 进行部署的例子 uvicorn 服务器启动时，workers 数量设置为1，这是否是由于在多进程模式下，无法加载模型才这样设置的呢？使用python web框架部署时，是否支持多进程部署方式呢？ Environment - OS: - Python: - Transformers: - PyTorch: - CUDA S

7热度

8回答

[THUDM/ChatGLM-6B][Feature] 请问如何基于特定文本对其中的内容进行解答？

例如，我有一个博物馆的展品资料，我需要用这个资料作为模型的上下文环境，能够根据资料对用户的提问进行回答。使得用户提问关于展品的问题，模型能够给出正确的解答。

8热度

7回答

[THUDM/ChatGLM-6B]如何使用amd显卡运行此模型

如何使用amd显卡运行此模型 Environment - OS:CentOS 7.9 - Python:3.7 - Transformers:4.26.1 - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

1热度

6回答

[THUDM/ChatGLM-6B][Help] windows gpu 环境 chatglm-6b-int4-qe 报错：AttributeError: 'NoneType' object has no attribute 'int4WeightExtractionHalf'

windows gpu=6G显存环境，CPU启动可以正常使用。换成cuda启动web_demo，提问时报错。加载模型配置： model = AutoModel.from_pretrained("model", trust_remote_code=True).half().cuda() 错误信息： Traceback (most recent call last): File "C:\Pytho

0热度

8回答

[THUDM/ChatGLM-6B][Help] ptuning中的数据集如何使用？

如果想要训练自己的数据，无监督，非问答的。这个数据集应该如何改造？比如一篇文章，怎么填充成这种格式 Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

2热度

10回答

[THUDM/ChatGLM-6B][BUG/Help] ptuning之后如何使用新的模型

按照ptuning/README.md完成了ptuning的训练和推理，目前看generated_predictions.txt的结果均达到预期，请问如何使用checkpoint中训练后的模型？调用了半天都是各种报错，求大佬指条明路。能够正常调用微调后的模型进行chat 修改了web_demo.py中的路径及模型，但无法正常使用。 Environment OS: Ubuntu 20.04 P

5热度

7回答

[THUDM/ChatGLM-6B][Feature] 微调数据集怎样设计才能支持长文本分段输出

用 ptuning 做微调，希望输出长文本，并且输出的长文本能在多轮对话中依据上下文分段输出。譬如这样的 prompt 训练样本： { "q" : "怎样做一个煎蛋，请分段输出每一个步骤", "a"：“做煎蛋一共有三步。\n1. 开火，锅内加油至6成温度. \n2. 鸡蛋放入锅里，小火慢煎并翻面. \n3.起锅放入盘中，加少量生抽 ” } 微调后，希望得到下面的效果：问: 怎样做一个煎蛋，请分

2热度

10回答

[THUDM/ChatGLM-6B]关于p_tuning效果的疑问

请问为什么选择p_tuning而不是lora或者prefix_tuning，这三者孰优孰劣？然后就是，我使用glm6b原版模型，对广告生成数据集做了测试，发现效果本来就非常好，是不是原版模型已经加了这个数据集？导致微调看不出效果？下面图片是我用原版glm6b做的测试：

8热度

9回答

[THUDM/ChatGLM-6B][Help] 如何支持多显卡

公司内部使用，装了2卡，发现默认配置只有1卡在跑，请问如何使用才可以使用多卡 Environment OS: Ubuntu 20.04 Python: 3.8 Transformers: 4.26.1 PyTorch: 1.12 CUDA Support: True

8热度

8回答

[Chanzhaoyu/chatgpt-web]增加对ChatGLM-6B的支持

ChatGLM-6B是一个中英双语开源大模型，最低可在6G显存上运行 https://github.com/THUDM/ChatGLM-6B 该模型目前已支持流式输出，希望可以增加对其的支持

7热度

6回答

[THUDM/ChatGLM-6B][BUG/Help] linux下chatglm-6b-int4模型无法用GPU加载

用GPU加载chatglm-6b-int4模型，kernel编译失败： >>> from transformers import AutoTokenizer, AutoModel >>> model = AutoModel.from_pretrained("./chatglm-6b-int4", trust_remote_code=True).half().cu

6热度

6回答

[THUDM/ChatGLM-6B][Help] macOS intel U，使用CPU推理

发现推理的时候，只有一个python进程的CPU利用率是100%，其他的CPU都在围观，是不是没有用到并行计算？希望所有的CPU利用率都打满，提高推理速度。 python cli_demo.py Environment - OS: macOS 10.15.7 Intel - Python: 3.8.16 - Transformers: 4.26.1 - PyTorch: 1.7.0 - CU

7热度

8回答

[THUDM/ChatGLM-6B][BUG/Help] readme给出的最小demo示例有 bug，无法跑通

readme给出的最小demo示例是无法跑通的，response返回的总是空的，已经有不少人遭遇了同样的问题，并且提过issue，但没有人解答。这个基础的bug预计何时修复？ Environment - OS: any - Python:any - Transformers:any - PyTorch:any - CUDA Support (`python -c "import torch

9热度

7回答

[THUDM/ChatGLM-6B]我的gpu为11G，跑不了小模型THUDM/chatglm-6b-int4-qe

python wll.py 内容如下：测试 - GPU from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4-qe", trust_remote_code=True) model = AutoModel.from_pret

3热度

7回答

[THUDM/ChatGLM-6B][Feature] 基于本地知识的 chatglm 应用，利用 langchain，可私有部署、全开源模型

项目地址：langchain-ChatGLM 受 GanymedeNil 的项目 document.ai 和 AlexZhangji 创建的 ChatGLM-6B Pull Request 启发，建立了全部基于开源模型实现的本地知识问答应用。 Embedding 选用的是 GanymedeNil/text2vec-large-chinese，LLM 选用的是 ChatGLM-6B。依托上述模型，本

5热度

5回答

[THUDM/ChatGLM-6B]ptuning评估的时候报错：The expanded size of the tensor (140) must match the existing size (312) at non-singleton dimension 0. Target sizes: [140]. Tensor sizes: [312]

File "/ptuning/main.py", line 416, in <module> main() File "/ptuning/main.py", line 354, in main train_result = trainer.train(resume_from_checkpoint=checkpoint) File "/home/searchg

3热度

7回答

[THUDM/ChatGLM-6B][Help] PTuning之后，进行evaluate时候，无法复现效果

这是从generated_predictions.txt里面截取的： {"labels": "设计剪裁立体有心意,穿着更加有型有范儿。设计师匠心独制,高腰阔腿设计修饰腿部线条为此款白色牛仔短裤添彩,另外做旧毛边工艺设计又将短裤点缀得恰到好处。简约大方的牛仔面料,使每个女孩子都能轻松驾驭,展现夏日", "predict": "何以故何以故何以故何以故何以故何以故何以故何以故何以故何