lance-format/lance

feat: bytes read and bytes write mectirc for per lance scanner and writer

Open

#3570 aperta il 20 mar 2025

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Rust (695 fork)github user discovery
help wanted

Metriche repository

Star
 (6582 star)
Metriche merge PR
 (Merge medio 6g 1h) (219 PR mergiate in 30 g)

Descrizione

When we scan the lance dataset, it's better to provide the read metrics, especially for the io bytes and IOPS metric.

The Spark web UI has some task-level metrics, for example, the input bytes. But now Lance can't provide it.

Image

The same metrics are required when we write a lance dataset.

Guida contributor

Direzione di ricerca
Esamina le implementazioni esistenti dello scanner e del writer per identificare dove vengono letti/scritti i byte, quindi aggiungi la raccolta delle metriche ed esponile tramite un sistema di metriche.
Tech stack
rust
Dominio
databasedata
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
RustLance internals
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50