[Chanzhaoyu/chatgpt-web]新版的超时BUG,较严重,没输出结束就会判定超时

2024-06-26 998 views
1

切换到了gpt-4,老是消息只输出到一半就中断了 后来才发现因为gpt-4的模型比较慢,哪怕正常输出,大概输出到30秒的时候就会强制中断,然后后端报错: TimeoutError: OpenAI timed out waiting for response | stdout

将TIMEOUT_MS改成300000毫秒后解决问题

所以超时的处理逻辑有问题,消息已经正常输出了就不应该判定为超时,找了老半天才找出是这个原因,望修复

回答

2

请问你是web切的吗,咋切的,我初始化model:gpt-4了还是用的原来的gpt-3.5

2

请问你是web切的吗,咋切的,我初始化model:gpt-4了还是用的原来的gpt-3.5

要在docker的环境变量设置,首页有说明,你仔细看下

7

请问你是web切的吗,咔切的,我开始化model:gpt-4了还是用的原始的gpt-3.5

要在docker的环境变量设置,首页有说明,你仔仔细看下 没看见呀,你是用的API版本吗

1

OPENAI_API_MODEL 设置模型,可选,默认:gpt-3.5-turbo 你把这个设置成gpt-4就行了

8

OPENAI_API_MODEL 设置模型,可选,默认:gpt-3.5-turbo

设置了没用呀,我是网页板,我还拉了最新的镜像

5

同样切换gpt-4的api会经常timeout。我试试这个办法!

7

这个问题应该在上游非常源头的fetch函数里面的超时设置。gpt-4的api回答的确比平时慢一点,需要更长时间的timeout阈值,在没回答完之前到设置的时间就会被切断回复。如果关闭打字机功能,它也需要这么多时间生成完整答案,使用打字机模式只是把获取答案的过程展现出来了,只能给它更多时间等答案了。

7

对,经常出现长回复时中断,很难完整出现长回复。

3

对,经常出现长回复时中断,很难完整出现长回复。

你可以把超时时间改大