[Feature request] Support loading GGUF and GGML model format

Repository-Metriken

Stars

38.959 Stars (38.959 Stars)

PR-Merge-Metriken

Keine gemergten PRs in 30 T (Keine gemergten PRs in 30 T)

Beschreibung

Dieses Issue enthält keine Beschreibung.

Contributor Guide

Research-Richtung

Erkunde, wie GGUF/GGML Modellformate in anderen LLM Serving Frameworks (z. B. llama.cpp, Ollama) geladen werden. Identifiziere die notwendigen Änderungen im FastChat Model Loader, um diese Formate zu unterstützen. Konzentriere dich auf `fastchat.model.model adapter` und zugehörige Module.

Tech Stack

python

Domain

machine learningbackend

Issue Type

Funktion

SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.

3

Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.

Halber Tag

AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.

Aktiv

KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.

Meist klar

Voraussetzungen

PythonFamiliarity with LLM model formats

EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.

50