lm-sys/FastChat

[Feature Request] Support InternLM Deploy

Open

#2.403 geöffnet am 12. Sept. 2023

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (38.959 Stars) (4.736 Forks)batch import
good first issue

Beschreibung

Dear FastChat developer,

Greetings! I am vansinhu, a community developer and volunteer at InternLM. InternLM is a large language model similar to llama2, and we look forward to InternLM being supported in FastChat. If there are any challenges or inquiries regarding support for InternLM, please feel free to join our Discord discussion at https://discord.gg/gF9ezcmtM3.

Best regards, vansinhu

Contributor Guide

Tech Stack
pythonpytorch
Domain
backendmachine learningapi
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 days
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
needs investigation
Voraussetzungen
Familiarity with FastChat codebaseUnderstanding of LLM model loading
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30
Research-Richtung
Investigate existing model integrations in fastchat/model/model adapter.py, especially the Llama or Vicuna adapters. Understand the model registration and inference pipeline. Look at InternLM's Hugging Face page for model weights and tokenizer. Check if there are any linked discussions or comments from maintainers for additional context. Consider starting a draft PR to initiate the integration.