rapidsai/cudf

[FEA] Add a method to check if row group stats are available

Chiusa

#17.864 aperta il 29 gen 2025

Vedi su GitHubGuida contributor
 (0 commenti) (0 reazioni) (0 assegnatari)C++ (735 fork)batch import
0 - BacklogcuIOfeature requestgood first issue

Metriche repository

Star
 (6000 stelle)
Metriche merge PR
 (Merge medio 17g 21h) (230 PR mergiate in 30 g)

Descrizione

Is your feature request related to a problem? Please describe. Currently, there isn't a method in predicate_pushdown.cpp (filter_row_groups) to check if row group stats aren't available. Hence, we can't ever set num_surviving_row_groups.after_stats_filter to std::nullopt if stats are unavailable.

Describe the solution you'd like We should figure out a relatively cheaper way to distinguish if row group stats aren't available if possible.

Describe alternatives you've considered We currently build the entire statsAST table in predicate_pushdown and try to filter row groups with it. In case no row groups are filtered, we can't distinguish if this was due to ineffective filter or missing stats.

Additional context Originally posted by @mhaseeb123 in https://github.com/rapidsai/cudf/pull/17594#discussion_r1932968249

Guida contributor

Direzione di ricerca
Esamina l'implementazione corrente di filter row groups in predicate pushdown.cpp per capire come vengono calcolate e utilizzate le statistiche dei gruppi di righe. Identifica un modo economico (ad esempio, un flag o un controllo rapido su una struttura di metadati) per determinare se le statistiche sono disponibili. Quindi implementa un metodo per esporre queste informazioni e aggiorna la logica in modo da impostare `num surviving row groups.after stats filter` su `std::nullopt` quando le statistiche non sono disponibili.
Tech stack
ccpp
Dominio
backenddata
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
C++CUDAGPU programming concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40