rapidsai/cudf

[FEA] Explicitly guarantee row group ordering in the parquet reader.

Open

#15.697 aperta il 7 mag 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)C++ (735 fork)batch import
cuIOfeature requestgood first issueimprovementlibcudf

Metriche repository

Star
 (6000 star)
Metriche merge PR
 (Merge medio 17g 21h) (230 PR mergiate in 30 g)

Descrizione

From @devavret , the question came up as to whether we guarantee the relative ordering of row groups across multiple input files in the parquet reader. That is, if you have two files [f1, f2] and the row groups within the files (in one column) are specified as [[r0,r3], [r0,r1]], do we guarantee the output ordering would be [f1r0, f1r3, f2r0, f2r1]

The code does in fact do this for both the explicitly specified case and the unspecified (empty user input / all row groups), but we don't make any guarantees about it. Seems like a safe and easy thing to add.

https://github.com/rapidsai/cudf/blob/5d244dfc13f4db0b1e41ded3029942fec50c98f6/cpp/src/io/parquet/reader_impl_helpers.cpp#L663

Guida contributor

Direzione di ricerca
Esamina il codice in cpp/src/io/parquet/reader impl helpers.cpp alla riga 663, dove l'ordinamento dei gruppi di righe è attualmente implicito. L'obiettivo è garantire esplicitamente l'ordinamento dei gruppi di righe tra più file di input. Ciò probabilmente comporta l'aggiunta di un commento o documentazione nell'intestazione o nell'API, assicurando che il comportamento esistente sia garantito contrattualmente. Cerca eventuali test esistenti per l'ordinamento dei gruppi di righe e considera l'aggiunta di un test per far rispettare la garanzia.
Tech stack
cpp
Dominio
backenddata
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65