lm-sys/FastChat

[Feature Request] Support InternLM Deploy

Open

#2.403 aberto em 12 de set. de 2023

Ver no GitHub
 (2 comments) (0 reactions) (0 assignees)Python (38.959 stars) (4.736 forks)batch import
good first issue

Description

Dear FastChat developer,

Greetings! I am vansinhu, a community developer and volunteer at InternLM. InternLM is a large language model similar to llama2, and we look forward to InternLM being supported in FastChat. If there are any challenges or inquiries regarding support for InternLM, please feel free to join our Discord discussion at https://discord.gg/gF9ezcmtM3.

Best regards, vansinhu

Guia do colaborador

Pilha de tecnologia
pythonpytorch
Domain
backendmachine learningapi
Tipo Issue
feature
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 days
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
needs investigation
Prerequisites
Familiarity with FastChat codebaseUnderstanding of LLM model loading
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30
Direção de pesquisa
Investigate existing model integrations in fastchat/model/model adapter.py, especially the Llama or Vicuna adapters. Understand the model registration and inference pipeline. Look at InternLM's Hugging Face page for model weights and tokenizer. Check if there are any linked discussions or comments from maintainers for additional context. Consider starting a draft PR to initiate the integration.