lance-format/lance

feat: bytes read and bytes write mectirc for per lance scanner and writer

Open

#3 570 ouverte le 20 mars 2025

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Rust (695 forks)github user discovery
help wanted

Métriques du dépôt

Stars
 (6 582 stars)
Métriques de merge PR
 (Merge moyen 6j 1h) (219 PRs mergées en 30 j)

Description

When we scan the lance dataset, it's better to provide the read metrics, especially for the io bytes and IOPS metric.

The Spark web UI has some task-level metrics, for example, the input bytes. But now Lance can't provide it.

Image

The same metrics are required when we write a lance dataset.

Guide contributeur

Direction de recherche
Examinez les implémentations existantes du scanner et du writer pour identifier où les octets sont lus/écrits, puis ajoutez la collecte de métriques et exposez les via un système de métriques.
Stack technique
rust
Domaine
databasedata
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
RustLance internals
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50