lm-sys/FastChat

Add MOSS as a candidate?

Offen

#828 geöffnet am 04.05.2023

Auf GitHub ansehen
 (2 Kommentare) (8 Reaktionen) (0 zugewiesene Personen)Python (4.736 Forks)batch import
good first issue

Repository-Metriken

Stars
 (38.959 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Recently, MOSS was open-sourced and showed attractive performance. The size of MOSS is 16B and MOSS seems to be a good candidate in the leaderboard.

Contributor Guide

Research-Richtung
Um MOSS hinzuzufügen, untersuchen Sie zunächst, wie bestehende Modelle wie Vicuna in der FastChat Codebasis integriert sind, insbesondere in den Modellregistrierungs und Serving Modulen (z.B. `fastchat/model/model registry.py`). Implementieren Sie dann einen Wrapper für MOSS nach derselben Schnittstelle und fügen Sie ihn zum Leaderboard Auswertungsskript in `fastchat/eval/` hinzu. Stellen Sie sicher, dass das Modell korrekt geladen und bereitgestellt werden kann. Erstellen Sie schließlich einen Pull Request, der auf dieses Issue verweist, und testen Sie die Integration mit Beispiel Prompts.
Tech Stack
python
Domain
aibackend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GitPython
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70