sgl-project/sglang

[Feature] Support `abort_request` in the router

Open

#6531 aperta il 22 mag 2025

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (6216 fork)auto 404
good first issue

Metriche repository

Star
 (28.442 star)
Metriche merge PR
 (Merge medio 2g 1h) (1000 PR mergiate in 30 g)

Descrizione

Checklist

Motivation

Hi,

I'd like to use the new abort_request API: https://github.com/sgl-project/sglang/blob/58f10679e1850fdc86046057c23bac5193156de9/python/sglang/srt/entrypoints/http_server.py#L549

However, I'm using multiple SGLang servers behind a router, and currently the router doesn't seem to support abort_request: https://github.com/sgl-project/sglang/blob/main/sgl-router/src/server.rs

I'm wondering if it makes sense to also support abort_request in the router. Thanks!

Related resources

No response

Guida contributor

Direzione di ricerca
Studia il codice sorgente del router esistente in sgl router/src/server.rs per capire come vengono instradate le richieste e come aggiungere un nuovo endpoint di interruzione che inoltra al server backend appropriato.
Tech stack
pythonrust
Dominio
backendinfrastructure
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitRust
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
55