lance-format/lance

Don't materialize any data on `count_rows` if the filter can be satisfied by a scalar index

Open

#2.682 geöffnet am 2. Aug. 2024

Auf GitHub ansehen
 (2 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Rust (695 Forks)github user discovery
good first issuehelp wanted

Repository-Metriken

Stars
 (6.582 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 1h) (219 gemergte PRs in 30 T)

Beschreibung

If we can satisfy a filter with a scalar index then we should be able to implement a fast path for count_rows where we simply return the size of the allow_list or even possibly subtract the size of the block_list from the metadata-only count_rows (might be some tricky bits if there are deletion vectors) to quickly answer queries like count_rows("x != 'foo'").

Contributor Guide

Research-Richtung
Erkunden Sie die vorhandene count rows Implementierung und skalare Indexstrukturen in Lance, um zu identifizieren, wo ein schneller Pfad hinzugefügt werden kann.
Tech Stack
rust
Domain
databasebackend
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
RustDatabase concepts
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30