[Feature request] Support loading GGUF and GGML model format

Description

Este issue não inclui uma descrição.

Guia do colaborador

Pilha de tecnologia

python

Domain

machine learning

Tipo Issue

feature

DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.

3

Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.

3-5 days

Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.

fresh

ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.

clear

Prerequisites

PythonFamiliarity with FastChat codebaseUnderstanding of LLM model formats

Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.

40

Direção de pesquisa

The issue requests support for loading GGUF and GGML model formats. Investigate the current model loading code in FastChat, particularly within the `fastchat/model` directory and any existing model adapter classes. Check the issue comments for any additional context or suggested approaches. Consider looking at how other projects like llama.cpp or transformers handle these formats to guide the implementation.