[Feature request] Support loading GGUF and GGML model format

Description

Cette issue ne contient pas de description.

Guide contributeur

Stack technique

python

Domaine

machine learning

Type d'issue

feature

DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.

3

Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.

3-5 days

Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.

fresh

ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.

clear

Prérequis

PythonFamiliarity with FastChat codebaseUnderstanding of LLM model formats

Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.

40

Direction de recherche

The issue requests support for loading GGUF and GGML model formats. Investigate the current model loading code in FastChat, particularly within the `fastchat/model` directory and any existing model adapter classes. Check the issue comments for any additional context or suggested approaches. Consider looking at how other projects like llama.cpp or transformers handle these formats to guide the implementation.