sgl-project/sglang

Reducing the time to import sglang

Aberta

#10.492 aberto em 16 de set. de 2025

Ver no GitHubGuia do colaborador
 (6 comentários) (4 reações) (1 responsável)Python (6.216 forks)auto 404
good first issuehigh priority

Métricas do repositório

Stars
 (28.442 estrelas)
Métricas de merge de PR
 (Mesclagem média 1d 13h) (1.000 fundiu PRs em 30d)

Description

Now importing sglang takes too long. On my H100 machine, it took 12s to just import sglang. Can someone help reducing the importing time?

> time python -c "from sglang.srt.managers.scheduler import Scheduler"
All deep_gemm operations loaded successfully!
W0916 03:22:46.348000 152559 torch/utils/cpp_extension.py:2425] TORCH_CUDA_ARCH_LIST is not set, all archs for visible cards are included for compilation.
W0916 03:22:46.348000 152559 torch/utils/cpp_extension.py:2425] If this is not desired, please set os.environ['TORCH_CUDA_ARCH_LIST'] to specific architectures.

real	0m12.310s
user	0m13.728s
sys	0m23.912s

Guia do colaborador

Direção de pesquisa
Profile o processo de importação para identificar quais módulos levam mais tempo. Considere usar imports tardios ou atrasar as importações de dependências pesadas.
Pilha de tecnologia
pythonpytorch
Domain
backendmachine learningai
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Python
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75