lm-sys/FastChat

[Feature] Do you have plan to support multimodal mode?

Open

#2216 aperta il 14 ago 2023

Vedi su GitHub
 (1 commento) (1 reazione) (0 assegnatari)Python (4736 fork)batch import
good first issue

Metriche repository

Star
 (38.959 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

On UI, basically just add an upload image button in the chat box. On backend side, need to integrate with multimodal models, e.g. LLaVa, MiniGPT4.

Guida contributor

Direzione di ricerca
Investiga come aggiungere un pulsante di caricamento immagini nell'interfaccia chat e integrare modelli multimodali come LLaVa o MiniGPT4 in FastChat. Esplora il supporto multimodale esistente nel codice e le API correlate.
Tech stack
pythonjavascript
Dominio
full stack
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonWeb development
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60