NVIDIA/numbast

Benchmarks of Existing Operations

Open

#12 aperta il 22 mar 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)C (22 fork)github user discovery
P0good first issue

Metriche repository

Star
 (62 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Currently we haven't built a benchmark framework to compare the operations in Numba Kernels with RAW CUDA C++. One pending reason why we haven't done so is that we know there will be a performance gap awaiting LTO support. However, this shouldn't be a blocker for us to build the benchmark framework.

There are two aspects of performances that we want to capture by the benchmarks:

  1. Infrastructure to benchmark the performance gap between releases, this indicates the performance gain we get from optimizing Numbast, Numba, CUDA over time
  2. Infrastructure to benchmark the gap between native CUDA C++ and Numba kernels. This measures the overhead of the additional wrappers we built with Numbast (extra shim, IRs).

Guida contributor

Direzione di ricerca
Esamina il codebase esistente di Numbast per comprendere la struttura attuale delle operazioni del kernel. Cerca eventuali file di test o di esempio esistenti che mostrino come vengono definiti ed eseguiti i kernel. Studia come sono tipicamente strutturati i benchmark CUDA C++ (ad esempio usando nsight o temporizzazioni personalizzate). Quindi, delinea un piano per creare una directory di benchmark con sottocartelle separate per le versioni Numba e CUDA C++ delle stesse operazioni, utilizzando un generatore di input comune e un harness di temporizzazione.
Tech stack
cpython
Dominio
backendperformance
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPythonCUDA basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60