[Feature] Profile the update weights from disk API of SGLang Diffusion · sgl-project/sglang#18979 | Good First Issue

(3 commenti) (0 reazioni) (0 assegnatari)Python (6216 fork)auto 404

good first issue

Metriche repository

Star: (28.442 star)
Metriche merge PR: (Merge medio 2g 1h) (1000 PR mergiate in 30 g)

Descrizione

Checklist

If this is not a feature request but a general question, please start a discussion at https://github.com/sgl-project/sglang/discussions. Otherwise, it will be closed.
Please use English. Otherwise, it will be closed.

Motivation

As we did in this comment:

https://github.com/sgl-project/sglang/pull/18306/#issuecomment-3898841774

We should profile the actual time breakdown in the update weights from disk.

Ideally speaking, 7B models' update should be within 1s (no considering save to disk time) in this https://github.com/zhaochenyang20/Awesome-ML-SYS-Tutorial/blob/main/sglang/latency-accelerate-for-weight-updates/readme.md

Related resources

No response

Guida contributor

Direzione di ricerca: Profila la funzione di aggiornamento dei pesi dal disco misurando la ripartizione del tempo di lettura, analisi e caricamento dei pesi. Confronta con i benchmark di latenza previsti.
Tech stack: python
Dominio: backend
Tipo issue: Funzionalità
Difficoltà: 2
Tempo stimato: Mezza giornata
Stato attività: Attiva
Chiarezza: Chiara
Prerequisiti: Python
Adatta ai principianti: 60