lm-sys/FastChat
Auf GitHub ansehen[Feature request] Support loading GGUF and GGML model format
Open
#2.410 geöffnet am 13. Sept. 2023
5 Kommentare (5 Kommentare)7 Reaktionen (7 Reaktionen)0 zugewiesene Personen (0 zugewiesene Personen)Python38.959 Stars (38.959 Stars)4.736 Forks (4.736 Forks)batch import
good first issue
Beschreibung
Dieses Issue enthält keine Beschreibung.
Contributor Guide
- Tech Stack
- python
- Domain
- machine learning
- Issue Type
- feature
- SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
- 3
- Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
- 3-5 days
- AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
- fresh
- KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
- clear
- Voraussetzungen
- PythonFamiliarity with FastChat codebaseUnderstanding of LLM model formats
- EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
- 40
- Research-Richtung
- The issue requests support for loading GGUF and GGML model formats. Investigate the current model loading code in FastChat, particularly within the `fastchat/model` directory and any existing model adapter classes. Check the issue comments for any additional context or suggested approaches. Consider looking at how other projects like llama.cpp or transformers handle these formats to guide the implementation.