rapidsai/cudf

[FEA] Explicitly guarantee row group ordering in the parquet reader.

Open

#15.697 geöffnet am 7. Mai 2024

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)C++ (735 Forks)batch import
cuIOfeature requestgood first issueimprovementlibcudf

Repository-Metriken

Stars
 (6.000 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 17T 21h) (230 gemergte PRs in 30 T)

Beschreibung

From @devavret , the question came up as to whether we guarantee the relative ordering of row groups across multiple input files in the parquet reader. That is, if you have two files [f1, f2] and the row groups within the files (in one column) are specified as [[r0,r3], [r0,r1]], do we guarantee the output ordering would be [f1r0, f1r3, f2r0, f2r1]

The code does in fact do this for both the explicitly specified case and the unspecified (empty user input / all row groups), but we don't make any guarantees about it. Seems like a safe and easy thing to add.

https://github.com/rapidsai/cudf/blob/5d244dfc13f4db0b1e41ded3029942fec50c98f6/cpp/src/io/parquet/reader_impl_helpers.cpp#L663

Contributor Guide

Research-Richtung
Untersuchen Sie den Code in cpp/src/io/parquet/reader impl helpers.cpp Zeile 663, wo die Reihenfolge der Zeilengruppen derzeit implizit ist. Das Ziel ist, die Reihenfolge der Zeilengruppen über mehrere Eingabedateien explizit zu garantieren. Dies beinhaltet wahrscheinlich das Hinzufügen eines Kommentars oder einer Dokumentation im Header oder der API, um sicherzustellen, dass das bestehende Verhalten vertraglich garantiert wird. Suchen Sie nach vorhandenen Tests für die Reihenfolge der Zeilengruppen und erwägen Sie, einen Test hinzuzufügen, um die Garantie durchzusetzen.
Tech Stack
cpp
Domain
backenddata
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
C++
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65