lance-format/lance

Don't materialize any data on `count_rows` if the filter can be satisfied by a scalar index

Open

#2.682 aberto em 2 de ago. de 2024

Ver no GitHub
 (2 comments) (1 reaction) (0 assignees)Rust (695 forks)github user discovery
good first issuehelp wanted

Métricas do repositório

Stars
 (6.582 stars)
Métricas de merge de PR
 (Mesclagem média 6d 1h) (219 fundiu PRs em 30d)

Description

If we can satisfy a filter with a scalar index then we should be able to implement a fast path for count_rows where we simply return the size of the allow_list or even possibly subtract the size of the block_list from the metadata-only count_rows (might be some tricky bits if there are deletion vectors) to quickly answer queries like count_rows("x != 'foo'").

Guia do colaborador

Direção de pesquisa
Explore a implementação existente de count rows e as estruturas de índice escalar no Lance para identificar onde um caminho rápido pode ser adicionado.
Pilha de tecnologia
rust
Domain
databasebackend
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
RustDatabase concepts
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30