[Chanzhaoyu/chatgpt-web]能否根据tokens数量自动选择模型的不同版本

2024-05-20 454 views
9

比如配置文件写gpt-3.5-turbo-auto(定义知道新的模型名)或者gpt-3.5-turbo|gpt-3.5-turbo-16k(使用符号分割可用模型列表),实际会根据前端输入的tokens数量选择使用4k还是16k。

因为存在一个场景:已知16k和4k回答质量相同,16k单价比4k贵。后端设置固定16k之后,可能只有很少有对话能超过4k,大量对话使用4k就能完成,这样就多了很多不必要的费用。

同理还有GPT-4的两个不同长度的模型。

不成熟的想法,希望可以讨论一下,也请开发者考虑,谢谢。

回答

7

自己就可以改啊

3

自己就可以改啊

目前只能固定为某种模型吧,程序不能根据tokens长度自动选择。

1

这种需求自己做二开就行啊。都用上GPT了,让它帮你写代码。

8

这种需求自己做二开就行啊。都用上GPT了,让它帮你写代码。

“这种需求”是指这个需求实际需要的人不多,甚至可能只有我需要吗?可是我觉得对于不方便普通Web用户修改模型的本项目来说,自动选择合适模型还是挺重要的吧。

GPT写个简单的代码容易,这么大型的项目,怎么喂给GPT呢。

分层、解耦合等一大堆与功能无关,但又与项目开发、后期维护比较相关。实力不够,写的代码烂,后期也不方便维护嘛,而且不一定能无缝合并到这个项目。其他网友用不上不就浪费了。

而且这个需求到底是真需求还是假需求,也值得和网友们讨论讨论。

谢谢。

1
image

根据前端传过来的message的length 来确定用哪个model不就行了 1分钟解决的事情

8

這次 API 調用 TOKEN 降價 是我需要指定使用新的 0613 API 才有新價格嗎? 還是不需要修改就能使用降價後的價格?

PS. 我沒有 16K 的需求

2

這次 API 調用 TOKEN 降價 是我需要指定使用新的 0613 API 才有新價格嗎? 還是不需要修改就能使用降價後的價格?

PS. 我沒有 16K 的需求

26号之后4k提问tokens会自动降价 如果现在就想用就换成 0613的模型 ,这个模型的速度还快一些

9

這次 API 調用 TOKEN 降價 是我需要指定使用新的 0613 API 才有新價格嗎? 還是不需要修改就能使用降價後的價格? PS. 我沒有 16K 的需求

26号之后4k提问tokens会自动降价 如果现在就想用就换成 0613的模型 ,这个模型的速度还快一些

好的,我就重新佈署一次就是了,謝謝

0

image 根据前端传过来的message的length 来确定用哪个model不就行了 1分钟解决的事情

感谢

7

@ChuckZengxf

image 根据前端传过来的message的length 来确定用哪个model不就行了 1分钟解决的事情

很抱歉又一次打扰您,“message的length”获取到的应该是“用户本次输入信息的字符串长度”,而非“一个会话中的所有对话的tokens数”,差异在“本次输入”与“所有对话”、“字符串长度”与“tokens数量”。

看了一下源码,本项目使用transitive-bullshit/chatgpt-api对OpenAI发起请求,每次发起请求只需要传入本次输入和parentMessageId,即上下文由transitive-bullshit/chatgpt-api维护,如果要实现我所说的功能,更改transitive-bullshit/chatgpt-api源码可能更为合适。