[Feature] Support bitsandbytes in QWen2 VL

Metriche repository

Star

28.442 star (28.442 star)

Metriche merge PR

Merge medio 2g 1h (Merge medio 2g 1h)1000 PR mergiate in 30 g (1000 PR mergiate in 30 g)

Descrizione

Guida contributor

Direzione di ricerca

Esamina le implementazioni esistenti dell'integrazione di bitsandbytes in sglang per altri modelli (ad es. LLaMA) e adattale per QWen2 VL. Comprendi l'architettura del modello QWen2 VL per applicare correttamente la quantizzazione.

Tech stack

python

Dominio

backend

Tipo issue

Funzionalità

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

1-3 ore

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Attiva

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Abbastanza chiara

Prerequisiti

GitPython

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

60