rapidsai/cudf

[FEA] Add `bytes_per_second` to all libcudf benchmarks

Open

#13.735 aberto em 23 de jul. de 2023

Ver no GitHub
 (8 comments) (0 reactions) (1 assignee)C++ (735 forks)batch import
0 - Backlogfeature requestgood first issuelibcudf

Métricas do repositório

Stars
 (6.000 stars)
Métricas de merge de PR
 (Mesclagem média 17d 21h) (230 fundiu PRs em 30d)

Description

Many libcudf benchmarks report the bytes_per_second processed as part of the output data. This value is useful for comparing benchmarks because it normalizes the increasing execution time from processing more data. Also, bytes_per_second and real_time_s together let us compute bytes_processed values which serve as a useful Y-axis.

As of the end of 23.12 development, many benchmarks still do not report bytes_per_second in the output data. Here is a figure summarizing the metrics reported by the benchmark suite.

image

benchmark status notes
APPLY_BOOLEAN_MASK see #13937
BINARYOP see #13938
COPY_IF_ELSE see #13960
GROUPBY see #13984
GROUPBY_NV
HASHING see #13967, #13965
JOIN
JOIN_NV
QUANTILES
REDUCTION see #16126
REPLACE
SEARCH
SEARCH_NV
SET_OPS_NV
SHIFT see #13950
SORT
SORT_NV
STREAM_COMPACTION_NV see #14172
TRANSPOSE see #14170

Note: For this tracking list, cuIO benchmarks are omitted because "encoded file size" serves a similar purpose.

Guia do colaborador

Direção de pesquisa
Identifique o padrão usado nos benchmarks que já reportam `bytes per second` e aplique a todos os benchmarks listados no problema.
Pilha de tecnologia
cpp
Domain
performance
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
C++Git
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65