rapidsai/cudf

[FEA] Add `bytes_per_second` to all libcudf benchmarks

Open

#13.735 aperta il 23 lug 2023

Vedi su GitHub
 (8 commenti) (0 reazioni) (1 assegnatario)C++ (735 fork)batch import
0 - Backlogfeature requestgood first issuelibcudf

Metriche repository

Star
 (6000 star)
Metriche merge PR
 (Merge medio 17g 21h) (230 PR mergiate in 30 g)

Descrizione

Many libcudf benchmarks report the bytes_per_second processed as part of the output data. This value is useful for comparing benchmarks because it normalizes the increasing execution time from processing more data. Also, bytes_per_second and real_time_s together let us compute bytes_processed values which serve as a useful Y-axis.

As of the end of 23.12 development, many benchmarks still do not report bytes_per_second in the output data. Here is a figure summarizing the metrics reported by the benchmark suite.

image

benchmark status notes
APPLY_BOOLEAN_MASK see #13937
BINARYOP see #13938
COPY_IF_ELSE see #13960
GROUPBY see #13984
GROUPBY_NV
HASHING see #13967, #13965
JOIN
JOIN_NV
QUANTILES
REDUCTION see #16126
REPLACE
SEARCH
SEARCH_NV
SET_OPS_NV
SHIFT see #13950
SORT
SORT_NV
STREAM_COMPACTION_NV see #14172
TRANSPOSE see #14170

Note: For this tracking list, cuIO benchmarks are omitted because "encoded file size" serves a similar purpose.

Guida contributor

Direzione di ricerca
Identificare il modello utilizzato nei benchmark che già riportano `bytes per second` e applicarlo a tutti i benchmark elencati nell'issue.
Tech stack
cpp
Dominio
performance
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++Git
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65