NVIDIA/numbast

Benchmarks of Existing Operations

Open

#12 ouverte le 22 mars 2024

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)C (22 forks)github user discovery
P0good first issue

Métriques du dépôt

Stars
 (62 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

Currently we haven't built a benchmark framework to compare the operations in Numba Kernels with RAW CUDA C++. One pending reason why we haven't done so is that we know there will be a performance gap awaiting LTO support. However, this shouldn't be a blocker for us to build the benchmark framework.

There are two aspects of performances that we want to capture by the benchmarks:

  1. Infrastructure to benchmark the performance gap between releases, this indicates the performance gain we get from optimizing Numbast, Numba, CUDA over time
  2. Infrastructure to benchmark the gap between native CUDA C++ and Numba kernels. This measures the overhead of the additional wrappers we built with Numbast (extra shim, IRs).

Guide contributeur

Direction de recherche
Examinez le code existant de Numbast pour comprendre la structure actuelle des opérations du noyau. Recherchez les fichiers de test ou d'exemple existants qui montrent comment les noyaux sont définis et exécutés. Étudiez comment les benchmarks CUDA C++ sont généralement structurés (par exemple en utilisant nsight ou un chronométrage personnalisé). Ensuite, élaborez un plan pour créer un répertoire de benchmarks avec des sous dossiers séparés pour les versions Numba et CUDA C++ des mêmes opérations, en utilisant un générateur d'entrée commun et un cadre de chronométrage.
Stack technique
cpython
Domaine
backendperformance
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitPythonCUDA basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60