[Chanzhaoyu/chatgpt-web]增加对ChatGLM-6B的支持

2024-06-26 97 views
1

ChatGLM-6B是一个中英双语开源大模型,最低可在6G显存上运行 https://github.com/THUDM/ChatGLM-6B 该模型目前已支持流式输出,希望可以增加对其的支持

回答

3

您跑起来了吗? @xzqiaochu

8

@yi-ge 我在笔记本上跑起来了,使用4bit量化。笔记本是RTX 3060 6G 这里有一个我在实验室服务器上部署的链接:http://plusgpt.cn:7860/ 您可以试试看(这个服务可能没法长期运行,因为比较占用显存)

0

@xzqiaochu 感谢,我这就体验下

1

Mac 能跑吗...

9

Mac 能跑吗...

4

@xzqiaochu 总体来看已经非常优秀了,能在普通电脑跑更是难得。

6

我也去玩一玩