verl-project/verl

Fused CE loss integration

Offen

#97 geöffnet am 12.01.2025

Auf GitHub ansehenContributor Guide
 (3 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Python (4.434 Forks)auto 404
call for contributionhelp wanted

Repository-Metriken

Stars
 (23.069 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 3T 6h) (125 gemergte PRs in 30 T)

Beschreibung

Integrate it with main stream models: https://github.com/apple/ml-cross-entropy so that model with large vocab size uses much less memory

Contributor Guide

Research-Richtung
Erkunden Sie die Fusion des Kreuzentropieverlusts von apple/ml cross entropy in den Trainingszyklus der Hauptmodelle in verl project/verl. Identifizieren Sie die aktuelle Verlustfunktion des Modells und ersetzen Sie sie durch die fusionierte Version, um Gradientenberechnung und Speichereinsparungen zu gewährleisten.
Tech Stack
pythonpytorch
Domain
backendai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60