rapidsai/cudf

[FEA] Expand ORC and Parquet benchmarks to cover different stripe/rowgroup sizes

Fechada

#10.100 aberto em 21 de jan. de 2022

Ver no GitHubGuia do colaborador
 (5 comentários) (0 reação) (0 responsável)C++ (735 forks)batch import
PerformancecuIOfeature requestgood first issuelibcudftests

Métricas do repositório

Stars
 (6.000 estrelas)
Métricas de merge de PR
 (Mesclagem média 17d 21h) (230 fundiu PRs em 30d)

Description

Add a set of benchmarks with varying stripe/rowgroup sizes to each affected component:

  • ORC reader
  • ORC writer
  • Parquet reader
  • Parquet writer

Use the new benchmarks to evaluate the effects of these options and potentially determine the optimal settings.

Guia do colaborador

Direção de pesquisa
Examine the existing benchmark infrastructure in the cuDF repository, likely under `benchmarks/`. Review the current ORC and Parquet reader/writer benchmarks to understand the pattern. Look through the issue comments for suggestions on stripe/rowgroup sizes. Propose a set of sizes (e.g., 1MB, 10MB, 100MB) to test and determine optimal settings. Consider using existing benchmark utilities to minimize new code.
Pilha de tecnologia
cpppython
Domain
dataperformancetesting
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
C++PythonGPU programmingfile format knowledge
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
25