lance-format/lance

Allow issue vector search in batch mode

Open

#876 aberto em 17 de mai. de 2023

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Rust (695 forks)github user discovery
A-indexA-pythonenhancementgood first issuehelp wantedrust

Métricas do repositório

Stars
 (6.582 stars)
Métricas de merge de PR
 (Mesclagem média 6d 1h) (219 fundiu PRs em 30d)

Description

Problem Statement

Instead of query one vector a time, allows user to issue multiple queries in the same request, exposing more opportunity for internal parallisms.

enable vector searching for a batch of queries. Currently Lance only allows 1D queries, but allowing 2D queries (parallelized) would be useful. Use case #1 is: at query time to run multiple simultaneous queries 'around' the root query to diversify search results, and #2 is useful for ETL operations (like the above deduplication) Agree it would be amazing that lance support this api directly to minimize read requests to object store. Recent work to cache the index already helps

Guia do colaborador

Direção de pesquisa
Estude a implementação existente de busca de vetor único e projete uma interface para consultas em lote. Considere a paralelização e a minimização de leituras no armazenamento de objetos.
Pilha de tecnologia
rust
Domain
backenddatabase
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
RustGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40