sgl-project/sglang

Reducing the time to import sglang

Aperta

#10.492 aperta il 16 set 2025

Vedi su GitHubGuida contributor
 (6 commenti) (4 reazioni) (1 assegnatario)Python (6216 fork)auto 404
good first issuehigh priority

Metriche repository

Star
 (28.442 stelle)
Metriche merge PR
 (Merge medio 2g 1h) (1000 PR mergiate in 30 g)

Descrizione

Now importing sglang takes too long. On my H100 machine, it took 12s to just import sglang. Can someone help reducing the importing time?

> time python -c "from sglang.srt.managers.scheduler import Scheduler"
All deep_gemm operations loaded successfully!
W0916 03:22:46.348000 152559 torch/utils/cpp_extension.py:2425] TORCH_CUDA_ARCH_LIST is not set, all archs for visible cards are included for compilation.
W0916 03:22:46.348000 152559 torch/utils/cpp_extension.py:2425] If this is not desired, please set os.environ['TORCH_CUDA_ARCH_LIST'] to specific architectures.

real	0m12.310s
user	0m13.728s
sys	0m23.912s

Guida contributor

Direzione di ricerca
Profilare il processo di importazione per identificare quali moduli richiedono più tempo. Considera l'uso di importazioni lazy o il ritardo delle importazioni delle dipendenze pesanti.
Tech stack
pythonpytorch
Dominio
backendmachine learningai
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75