rapidsai/cudf

[FEA] Expand ORC and Parquet benchmarks to cover different stripe/rowgroup sizes

Fermée

#10 100 ouverte le 21 janv. 2022

Voir sur GitHubGuide contributeur
 (5 commentaires) (0 réaction) (0 personne assignée)C++ (735 forks)batch import
PerformancecuIOfeature requestgood first issuelibcudftests

Métriques du dépôt

Stars
 (6 000 étoiles)
Métriques de merge PR
 (Merge moyen 17j 21h) (230 PRs mergées en 30 j)

Description

Add a set of benchmarks with varying stripe/rowgroup sizes to each affected component:

  • ORC reader
  • ORC writer
  • Parquet reader
  • Parquet writer

Use the new benchmarks to evaluate the effects of these options and potentially determine the optimal settings.

Guide contributeur

Direction de recherche
Examine the existing benchmark infrastructure in the cuDF repository, likely under `benchmarks/`. Review the current ORC and Parquet reader/writer benchmarks to understand the pattern. Look through the issue comments for suggestions on stripe/rowgroup sizes. Propose a set of sizes (e.g., 1MB, 10MB, 100MB) to test and determine optimal settings. Consider using existing benchmark utilities to minimize new code.
Stack technique
cpppython
Domaine
dataperformancetesting
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C++PythonGPU programmingfile format knowledge
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
25