sgl-project/sglang

[Feature] Profile the update weights from disk API of SGLang Diffusion

Open

Aperta il 18 feb 2026

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (28.442 star) (6216 fork)auto 404
good first issue

Descrizione

Checklist

Motivation

As we did in this comment:

https://github.com/sgl-project/sglang/pull/18306/#issuecomment-3898841774

We should profile the actual time breakdown in the update weights from disk.

Ideally speaking, 7B models' update should be within 1s (no considering save to disk time) in this https://github.com/zhaochenyang20/Awesome-ML-SYS-Tutorial/blob/main/sglang/latency-accelerate-for-weight-updates/readme.md

Related resources

No response

Guida contributor

Tech stack
python
Dominio
backend
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
half day
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60
Direzione di ricerca
Profila la funzione di aggiornamento dei pesi dal disco misurando la ripartizione del tempo di lettura, analisi e caricamento dei pesi. Confronta con i benchmark di latenza previsti.