rapidsai/cudf

[FEA] Explicitly guarantee row group ordering in the parquet reader.

Open

#15 697 ouverte le 7 mai 2024

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)C++ (735 forks)batch import
cuIOfeature requestgood first issueimprovementlibcudf

Métriques du dépôt

Stars
 (6 000 stars)
Métriques de merge PR
 (Merge moyen 17j 21h) (230 PRs mergées en 30 j)

Description

From @devavret , the question came up as to whether we guarantee the relative ordering of row groups across multiple input files in the parquet reader. That is, if you have two files [f1, f2] and the row groups within the files (in one column) are specified as [[r0,r3], [r0,r1]], do we guarantee the output ordering would be [f1r0, f1r3, f2r0, f2r1]

The code does in fact do this for both the explicitly specified case and the unspecified (empty user input / all row groups), but we don't make any guarantees about it. Seems like a safe and easy thing to add.

https://github.com/rapidsai/cudf/blob/5d244dfc13f4db0b1e41ded3029942fec50c98f6/cpp/src/io/parquet/reader_impl_helpers.cpp#L663

Guide contributeur

Direction de recherche
Examinez le code dans cpp/src/io/parquet/reader impl helpers.cpp ligne 663, où l'ordre des groupes de lignes est actuellement implicite. L'objectif est de garantir explicitement l'ordre des groupes de lignes sur plusieurs fichiers d'entrée. Cela implique probablement d'ajouter un commentaire ou une documentation dans l'en tête ou l'API, en s'assurant que le comportement existant soit contractuellement garanti. Recherchez tout test existant pour l'ordre des groupes de lignes et envisagez d'ajouter un test pour faire respecter la garantie.
Stack technique
cpp
Domaine
backenddata
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C++
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65