lm-sys/FastChat

[Feature request] Support loading GGUF and GGML model format

Offen

#2.410 geöffnet am 13.09.2023

Auf GitHub ansehen
 (5 Kommentare) (7 Reaktionen) (0 zugewiesene Personen)Python (4.736 Forks)batch import
good first issue

Repository-Metriken

Stars
 (38.959 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Dieses Issue enthält keine Beschreibung.

Contributor Guide

Research-Richtung
Erkunde, wie GGUF/GGML Modellformate in anderen LLM Serving Frameworks (z. B. llama.cpp, Ollama) geladen werden. Identifiziere die notwendigen Änderungen im FastChat Model Loader, um diese Formate zu unterstützen. Konzentriere dich auf `fastchat.model.model adapter` und zugehörige Module.
Tech Stack
python
Domain
machine learningbackend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonFamiliarity with LLM model formats
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50