[Feature] Profile the update weights from disk API of SGLang Diffusion · sgl-project/sglang

(3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (6.216 Forks)auto 404

good first issue

Repository-Metriken

Stars: (28.442 Sterne)
PR-Merge-Metriken: (Durchschn. Merge 1T 13h) (1.000 gemergte PRs in 30 T)

Beschreibung

Checklist

If this is not a feature request but a general question, please start a discussion at https://github.com/sgl-project/sglang/discussions. Otherwise, it will be closed.
Please use English. Otherwise, it will be closed.

Motivation

As we did in this comment:

https://github.com/sgl-project/sglang/pull/18306/#issuecomment-3898841774

We should profile the actual time breakdown in the update weights from disk.

Ideally speaking, 7B models' update should be within 1s (no considering save to disk time) in this https://github.com/zhaochenyang20/Awesome-ML-SYS-Tutorial/blob/main/sglang/latency-accelerate-for-weight-updates/readme.md

Related resources

No response

Contributor Guide

Research-Richtung: Profiling der Funktion zum Aktualisieren von Gewichten von der Festplatte durch Messen der Zeitaufteilung für Lesen, Parsen und Laden der Gewichte. Vergleichen Sie mit den erwarteten Latenz Benchmarks.
Tech Stack: python
Domain: backend
Issue Type: Funktion
Schwierigkeit: 2
Geschätzte Zeit: Halber Tag
Aktivitätsstatus: Aktiv
Klarheit: Klar
Voraussetzungen: Python
Einsteigerfreundlichkeit: 60