sgl-project/sglang

[Feature] Add KV cache usage prometheus metrics

Open

#5979 aperta il 2 mag 2025

Vedi su GitHub
 (8 commenti) (5 reazioni) (0 assegnatari)Python (6216 fork)auto 404
good first issue

Metriche repository

Star
 (28.442 star)
Metriche merge PR
 (Merge medio 2g 1h) (1000 PR mergiate in 30 g)

Descrizione

Motivation

It would be great to track prometheus metrics for KV cache utilization.

Related resources

vLLM already offers KV cache utilization prometheus metrics, see here, at vllm:gpu_cache_usage_perc.

Guida contributor

Direzione di ricerca
Studia l'implementazione delle metriche della cache KV di vLLM e adattala al sistema di metriche di SGLang.
Tech stack
python
Dominio
backendobservability
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75