rapidsai/cudf

[FEA] Expand ORC and Parquet benchmarks to cover different stripe/rowgroup sizes

Chiusa

#10.100 aperta il 21 gen 2022

Vedi su GitHubGuida contributor
 (5 commenti) (0 reazioni) (0 assegnatari)C++ (735 fork)batch import
PerformancecuIOfeature requestgood first issuelibcudftests

Metriche repository

Star
 (6000 stelle)
Metriche merge PR
 (Merge medio 17g 21h) (230 PR mergiate in 30 g)

Descrizione

Add a set of benchmarks with varying stripe/rowgroup sizes to each affected component:

  • ORC reader
  • ORC writer
  • Parquet reader
  • Parquet writer

Use the new benchmarks to evaluate the effects of these options and potentially determine the optimal settings.

Guida contributor

Direzione di ricerca
Examine the existing benchmark infrastructure in the cuDF repository, likely under `benchmarks/`. Review the current ORC and Parquet reader/writer benchmarks to understand the pattern. Look through the issue comments for suggestions on stripe/rowgroup sizes. Propose a set of sizes (e.g., 1MB, 10MB, 100MB) to test and determine optimal settings. Consider using existing benchmark utilities to minimize new code.
Tech stack
cpppython
Dominio
dataperformancetesting
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++PythonGPU programmingfile format knowledge
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
25