lance-format/lance

The ProjectionPlan::project_batch function is inefficient and noisy

Open

#5069 aperta il 24 ott 2025

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Rust (695 fork)github user discovery
good first issue

Metriche repository

Star
 (6582 star)
Metriche merge PR
 (Merge medio 6g 1h) (219 PR mergiate in 30 g)

Descrizione

In take workloads we utilize a function called ProjectionPlan::project_batch. This function creates a OneShotExec that reads in the batch and a ProjectExec that applies the projection expressions. This is probably fine if there are actually projection expressions to evaluate. However, if we all we are doing is reordering or dropping columns (or especially if the projection is an identity projections 🤦) we are adding quite a bit of unneeded overhead.

To put this into context, in a recent random access benchmarking effort I found this to be responsible for about 8% of the latency even though there was no actual projection (it was just identity).

Guida contributor

Direzione di ricerca
Profila la funzione `ProjectionPlan::project batch` per identificare l'overhead, specialmente per proiezioni identità o nulle, quindi ottimizza saltando i nodi di esecuzione non necessari.
Tech stack
rust
Dominio
database
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
RustDataFusion
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40