Please support fastllm

Description

Guia do colaborador

Pilha de tecnologia

python

Domain

backend

Tipo Issue

feature

DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.

3

Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.

1-2 days

Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.

stale

ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.

needs investigation

Prerequisites

PythonFastChat architecturefastllm APImodel serving concepts

Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.

20

Direção de pesquisa

Investigate the fastllm repository (https://github.com/ztxz16/fastllm) to understand its API and model loading mechanisms. Look at existing model support in FastChat under the `fastchat.serve` directory to see how other backends (e.g., vLLM, Text Generation Inference) are integrated. Check FastChat documentation for model registration and serving endpoints. The issue lacks specific requirements, so engage with the issue author to clarify desired use cases and propose a design.