Python

7热度

18回答

[THUDM/ChatGLM-6B][BUG/Help] 有没有比较好的方式提升qps

使用int4量化版本模型加载，单卡显存只使用了1/3，但是使用的时候基本上qps只能到1，有没有比较好的方法，提升调用的qps？ Environment - OS: - Python: - Transformers: - PyTorch: - CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`

1热度

12回答

[THUDM/ChatGLM-6B][Feature] 斗胆和大佬们讨论一个知识库相关的技术方案是否可行

基于向量化和大型语言模型的知识库与交互系统各位见笑。我就是一菜鸡，下文如果说得不对的地方请指正，莫要见怪。就目前而言，各类开源大语言模型最大的使用方向就是知识库、问答系统等垂直领域。目前的解决方案有二： 1、模型外挂知识库，比如【闻达】。优点：技术比较简单，实用性比较强。缺点：受模型token限制，自然语言文本信息承载量也比较低，能处理的信息有限，难以整合大量信息。 2、模型微调优点：

0热度

3回答

[geekan/MetaGPT]system design 文档里Program call flow尾巴经常出问题

system design 文档里Program call flow尾巴经常出问题，经常多出''',造成语法解析出错

1热度

5回答

[geekan/MetaGPT]生成代码经常在文件头引用有问题

生成代码经常在文件头引用有两个问题： from wrong_packagename.CLASSNAME import xxxx 自身生成class引用经常出问题，没有声明引用 from xxxx import Xxxx

8热度

3回答

[geekan/MetaGPT]How to continue the previous process after Sudden failure/如何继续刚才的失败进程

项目执行接近尾声的时候突然失败，例如是网络原因导致中断。之后要网络恢复后要如何继续刚才的进程，而不是完全重新开始项目？

4热度

3回答

[geekan/MetaGPT]希望取得联系

尊敬的MetaGPT 应用开发者，我是 InternLM 社区开发者&志愿者尖米, 大佬开源的工作对我的启发很大，希望可以探讨使用 InternLM 实现MetaGPT 的可能性和实现路径，我的微信是mzm312，希望可以取得联系进行更深度的交流；

9热度

2回答

[geekan/MetaGPT]Token限制

我在使用GPT4模型時遇到了超出最大限制(8192tokens)的問題我參考了其他issue並嘗試更換為gpt-4-32k 但我收到以下錯誤 openai.error.InvalidRequestError: The model gpt-4-32k does not exist or you do not have access to it. Learn more: https://help.o

5热度

3回答

[geekan/MetaGPT]FileNotFoundError: [WinError 2] 找不到文件

请问这是什么原因呢？该怎么解决 ` Anything UNCLEAR The requirement is clear to me. Warning: gpt-4 may update over time. Returning num tokens assuming gpt-4-0613. 2023-09-10 14:58:56.429 | INFO | metagpt.provider.

8热度

12回答

[geekan/MetaGPT]SoftwareCompany全流程汉化 / SoftwareCompany中文流程

最近我完成了SoftwareCompany的全流程汉化，可以点击这里查看代码仓库但是现在我最好把这个汉化版本合并到主分支里面，因为我没有新建文件去写，而是直接在原来的基础上进行的修改汉化（新建了一个分支）。我个人没有什么开发大型项目的经验，所以现在有点迷茫，希望向开发者征询意见。最近，我完成了一家软件公司的中文本地化全流程。您可以点击此处查看代码库。但是，我不确定如何将此本地化版本合并到主分支中

7热度

11回答

[geekan/MetaGPT]GPT4好贵，如何接入其他模型呢

比如Qwen、Baichuan2等...

4热度

6回答

[geekan/MetaGPT]添加llm来源spark_api。

由于spark_api没有官方类，所以需要额外的一个文件。

2热度

3回答

[geekan/MetaGPT]MetaGPT的成功率很低

目前我测试了三个游戏：贪吃蛇，三维弹球和坦克大战。并且都使用了--code_review True。然而三个游戏都不能正常运行，在贪吃蛇游戏的coding中出现了没有初始化屏幕显示的错误。在三维弹球中甚至出现了NotImplementedError，原因是代码中存在两个函数未实现： def create_objects(self): This function should be impleme

0热度

7回答

[geekan/MetaGPT]Is Langchain considered?/是否考虑过使用langchain作为后端

这个想法很不错但是看了下代码似乎是从llm抽象层就开始是自己造轮子了，感觉意义不大。使用Langchain作为后端的话可以省不少时间，把经历集中在功能上

0热度

5回答

[geekan/MetaGPT]使用Chat-GLM3模型开源错误

我将模型替换为Chat-GLM3，在运行的时候报错：

2热度

4回答

[geekan/MetaGPT]功能：记忆留言增加轮流直播。给Memory中的消息添加老人轮数机制

特征给Memory中的消息添加消防轮数（turns-to-live, ttl），表示消息接下来可以重启几轮对话。功能文档影响方便按重要性管理内存里的消息，清除不重要的，需要擦除的消息，例如，对于bug消息，如果解决完bug后，将bug消息从内存中删除是有利的，可以减少内存中的信息发音，使得记忆中信息熵更小。结果其他

2热度

4回答

[geekan/MetaGPT]编码角色不起作用（工程师角色不起作用）

错误描述我在使用 metaGPT 时遇到问题。当我使用提示“metaGPT“制作一个 cli 蛇游戏”时，工程师角色不起作用，无法生成任何代码。最终，代码审阅者角色生成了部分文件。所有其他角色均正常运行。我在使用metaGPT的时候，遇到了问题，使用示例“metaGPT“制作一个cli贪吃蛇游戏”，工程师角色不工作，生成无法代码，最终由代码审查角色生成了部分文件。其他角色都工作正常。 Bu

7热度

7回答

[geekan/MetaGPT]OPENAI_BASE_URL 和 OPENAI_PROXY 无法同时生效？

使用场景： MetaGPT 服务所在的机器需要通过代理才能访问互联网使用手机搭建/三方搭建的API服务中转预期行为：可以配置MetaGPT服务的网络代理同时可以设置API服务器的自定义地址实际测试：同时设置后网络访问失败

7热度

4回答

[geekan/MetaGPT]事件错误：[1214][历史参数。请检查文档。]

错误描述在运行examples\search_google.py示例时，出现“event error: [1214][history参数非法。请检查文档。] ”的错误运行 example\search_google.py 时出现错误“事件错误：[1214][历史参数无效。请检查文档。]”。 Bug解决方法环境信息 LLM类型和模型名称：ZhiPuAILLM chatglm_turb

8热度

3回答

[geekan/MetaGPT]在 common.py 的 def role_raise_decorator(func): 方法的异常捕获代码，除了 Exception 应该打印完整的 ex

Bug description 在 common.py 的 def role_raise_decorator(func): 方法的异常捕获代码没有打印完整的ex 如果调用LLM出现错误时,比如404错误,或者模型不支持时,控制台只会显示warning信息. There is a exception in role's execution, in order to resume, we dele

7热度

4回答

[geekan/MetaGPT]人类参与不生效

我尝试运行博客站关于Human Engagement的源代码，在运行到 team.hire( [ SimpleCoder(), SimpleTester(), SimpleReviewer(), SimpleReviewer(is_human=True) ] ) 中的SimpleReviewer(is_human=True) 系统并没有停止进程提供用户输入，而是直接使用了 PROMPT_TEMP