sgl-project/sglang

[Feature] Support encoder models for flash_infer backend

Chiusa

#6050 aperta il 6 mag 2025

Vedi su GitHubGuida contributor
 (2 commenti) (1 reazione) (0 assegnatari)Python (6216 fork)auto 404
good first issue

Metriche repository

Star
 (28.442 stelle)
Metriche merge PR
 (Merge medio 2g 1h) (1000 PR mergiate in 30 g)

Descrizione

Checklist

Motivation

          @DavidBao03 hi, currently only support encoder model with torch_native attn backend and triton attn backend. Other attn backend is not supported yet.

Originally posted by @woodx9 in https://github.com/sgl-project/sglang/issues/4887#issuecomment-2847365703

Related resources

No response

Guida contributor

Direzione di ricerca
Indaga come i modelli encoder sono supportati nei backend torch native e triton, quindi estendi il backend flash infer in modo simile.
Tech stack
pythonpytorch
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50