[THUDM/ChatGLM-6B]关于chatGLM-6B的embedding API接口

2024-07-12 348 views
0

请问可以提供将问题或者描述转换成embedding向量的API吗?

通过这个repo提供的chatGLM-6B embedding api可以获取 1、问题或者描述对应的向量 2、向量之间可以提供相似度的计算公式和结果并进行返回

回答

1

我尝试了直接使用ChatGLM的transformer部分输出文本的embedding,感觉效果不是很好,可能需要微调模型或者是找一个好用的prompt

5

我尝试了直接使用ChatGLM的transformer部分输出文本的embedding,输出4096位embedding,使用相似度算法,实测效果不及chatyuan-v2和chinese_roberta_wwm_ext_large

4

embedding 一般需要使用专门的模型,用生成模型的 embedding 结果不会太好。

1

@duzx16 如果非常需要embedding API的功能,有哪个模型支持的比较好呢?

7

我用text2vec-large-chinese模型,使用langchain的HuggingFaceEmbeddings加载调用