JuliaGPU/CUDA.jl

Add stream pool to avoid cuStreamCreate overhead

Open

#2.012 geöffnet am 29. Juli 2023

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Julia (274 Forks)batch import
enhancementgood first issueperformance

Repository-Metriken

Stars
 (1.408 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 5h) (16 gemergte PRs in 30 T)

Beschreibung

Describe the bug

I tried adding multithreading to our code, and now we see occasional pauses due to CuStreamCreate:

Could be fixed by adding a Stream pool?

To reproduce

Available on request

Expected behavior

No pauses

Version info

Not sure exactly, I think it was Julia 1.8.5 with CUDA.jl 3.13.1 and CUDA 11.2.

Once our cluster upgrades the drivers, I can rerun with CUDA 12.

Additional context

cc @lcw

Contributor Guide

Research-Richtung
Untersuche den aktuellen Stream Allokationsmechanismus in CUDA.jl, wahrscheinlich in Dateien im Zusammenhang mit CUDA Streams. Untersuche, wie andere Frameworks Stream Pooling implementieren, wie z. B. in PyTorch oder TensorRT. Schlage ein Design für einen threadsicheren Stream Pool vor, der Streams vorab zuweist, um den Overhead von cuStreamCreate in Multithread Kontexten zu vermeiden.
Tech Stack
Keine
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JuliaCUDAGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
45