higress-group/higress

AI 缓存 Wasm 插件对接更多文本向量化服务

Offen

#1.442 geöffnet am 29.10.2024

 (0 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Go (1.219 Forks)github user discovery
area/aihelp wantedkind/HEPsig/wasmtype/enhancement

Repository-Metriken

Stars
 (9.036 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 7T 9h) (18 gemergte PRs in 30 T)

Beschreibung

背景

https://github.com/alibaba/higress/issues/1040 中,Higress 实现了基于向量相似度进行 LLM 响应找回的 ai-cache 插件(https://github.com/alibaba/higress/tree/main/plugins/wasm-go/extensions/ai-cache)。这其中需要对用户的请求文本进行向量化,然后在缓存和向量数据库中寻找与之相似的历史请求。

目前,该插件仅对接了一个文本向量化服务,即阿里云提供的向量检索服务 DashVector。为了进一步扩展该插件的功能,我们需要对接更多的文本向量化服务。欢迎大家积极参与本项任务。感兴趣的同学可以在对应的子 issue 下留言认领。

如果有其他希望对接但还没有列在下面的文本向量化服务,欢迎大家留言提出需求。

待对接服务提供商

  • #1443
  • #1444
  • #1445
  • #1446
  • #1447
  • #1448
  • #1449

Contributor Guide