higress-group/higress

AI 缓存 Wasm 插件对接更多文本向量化服务

Aberta

#1.442 aberto em 29 de out. de 2024

Ver no GitHub
 (0 comentário) (0 reação) (1 responsável)Go (1.219 forks)github user discovery
area/aihelp wantedkind/HEPsig/wasmtype/enhancement

Métricas do repositório

Stars
 (9.036 estrelas)
Métricas de merge de PR
 (Mesclagem média 7d 9h) (18 fundiu PRs em 30d)

Description

背景

在 https://github.com/alibaba/higress/issues/1040 中，Higress 实现了基于向量相似度进行 LLM 响应找回的 ai-cache 插件（https://github.com/alibaba/higress/tree/main/plugins/wasm-go/extensions/ai-cache）。这其中需要对用户的请求文本进行向量化，然后在缓存和向量数据库中寻找与之相似的历史请求。

目前，该插件仅对接了一个文本向量化服务，即阿里云提供的向量检索服务 DashVector。为了进一步扩展该插件的功能，我们需要对接更多的文本向量化服务。欢迎大家积极参与本项任务。感兴趣的同学可以在对应的子 issue 下留言认领。

如果有其他希望对接但还没有列在下面的文本向量化服务，欢迎大家留言提出需求。

待对接服务提供商

  • #1443
  • #1444
  • #1445
  • #1446
  • #1447
  • #1448
  • #1449

Guia do colaborador

Direção de pesquisa
Estude o plugin ai cache existente e a integração com DashVector, depois implemente um novo cliente de serviço de vetorização de texto seguindo o mesmo padrão.
Pilha de tecnologia
go
Domain
backendapiai
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GoWASMAI/LLM
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60