sgl-project/sglang

Reducing the time to import sglang

Offen

#10.492 geöffnet am 16.09.2025

Auf GitHub ansehenContributor Guide
 (6 Kommentare) (4 Reaktionen) (1 zugewiesene Person)Python (6.216 Forks)auto 404
good first issuehigh priority

Repository-Metriken

Stars
 (28.442 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 1T 13h) (1.000 gemergte PRs in 30 T)

Beschreibung

Now importing sglang takes too long. On my H100 machine, it took 12s to just import sglang. Can someone help reducing the importing time?

> time python -c "from sglang.srt.managers.scheduler import Scheduler"
All deep_gemm operations loaded successfully!
W0916 03:22:46.348000 152559 torch/utils/cpp_extension.py:2425] TORCH_CUDA_ARCH_LIST is not set, all archs for visible cards are included for compilation.
W0916 03:22:46.348000 152559 torch/utils/cpp_extension.py:2425] If this is not desired, please set os.environ['TORCH_CUDA_ARCH_LIST'] to specific architectures.

real	0m12.310s
user	0m13.728s
sys	0m23.912s

Contributor Guide

Research-Richtung
Profileren Sie den Importprozess, um zu identifizieren, welche Module die meiste Zeit in Anspruch nehmen. Ziehen Sie die Verwendung von Lazy Imports oder das Verzögern von Importen schwerer Abhängigkeiten in Betracht.
Tech Stack
pythonpytorch
Domain
backendmachine learningai
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Python
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75