lm-sys/FastChat

[Feature request] Support loading GGUF and GGML model format

Aperta

#2410 aperta il 13 set 2023

Vedi su GitHub
 (5 commenti) (7 reazioni) (0 assegnatari)Python (4736 fork)batch import
good first issue

Metriche repository

Star
 (38.959 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Questa issue non ha descrizione indicizzata.

Guida contributor

Direzione di ricerca
Esplora come i formati di modello GGUF/GGML vengono caricati in altri framework di servizio LLM (ad esempio, llama.cpp, Ollama). Identifica le modifiche necessarie nel caricatore di modelli di FastChat per supportare questi formati. Concentrati su `fastchat.model.model adapter` e moduli correlati.
Tech stack
python
Dominio
machine learningbackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonFamiliarity with LLM model formats
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50