sgl-project/sglang

[Feature] Support more multi-modal input for VLM

Open

#5964 aperta il 2 mag 2025

Vedi su GitHub
 (5 commenti) (5 reazioni) (1 assegnatario)Python (6216 fork)auto 404
Multi-modalfeaturegood first issuehelp wanted

Metriche repository

Star
 (28.442 star)
Metriche merge PR
 (Merge medio 2g 1h) (1000 PR mergiate in 30 g)

Descrizione

Motivation

The current endpoint only supports image data input, limiting its flexibility for diverse VLM use cases. We need additional input formats, particularly for RL applications: (Could be split into multiple PRs)

  • Pre-computed Image Embeddings
  • Pixel Values
  • Pixel Value Range Parameters (min_pixel/max_pixel) for qwen-vl

Welcome to propose more.

Benefits

  1. Enhanced flexibility for RL workflows
  2. Reduced preprocessing overhead
  3. Better integration with existing pipelines

Guida contributor

Direzione di ricerca
Esamina come sono attualmente implementati gli embedding di immagini pre calcolati (già fatto). Per i valori dei pixel, indaga il forward pass del modello VLM e come vengono elaborati gli input di immagine. Cerca funzioni esistenti che convertono i valori dei pixel in embedding. Controlla l'implementazione di qwen vl per i parametri min pixel/max pixel.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40