lance-format/lance

Don't materialize any data on `count_rows` if the filter can be satisfied by a scalar index

Open

#2682 aperta il 2 ago 2024

Vedi su GitHub
 (2 commenti) (1 reazione) (0 assegnatari)Rust (695 fork)github user discovery
good first issuehelp wanted

Metriche repository

Star
 (6582 star)
Metriche merge PR
 (Merge medio 6g 1h) (219 PR mergiate in 30 g)

Descrizione

If we can satisfy a filter with a scalar index then we should be able to implement a fast path for count_rows where we simply return the size of the allow_list or even possibly subtract the size of the block_list from the metadata-only count_rows (might be some tricky bits if there are deletion vectors) to quickly answer queries like count_rows("x != 'foo'").

Guida contributor

Direzione di ricerca
Esplora l'implementazione esistente di count rows e le strutture degli indici scalari in Lance per identificare dove aggiungere un percorso rapido.
Tech stack
rust
Dominio
databasebackend
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
RustDatabase concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30