verl-project/verl

Fused CE loss integration

Aperta

#97 aperta il 12 gen 2025

Vedi su GitHubGuida contributor
 (3 commenti) (1 reazione) (0 assegnatari)Python (4422 fork)auto 404
call for contributionhelp wanted

Metriche repository

Star
 (23.003 stelle)
Metriche merge PR
 (Merge medio 3g 6h) (125 PR mergiate in 30 g)

Descrizione

Integrate it with main stream models: https://github.com/apple/ml-cross-entropy so that model with large vocab size uses much less memory

Guida contributor

Direzione di ricerca
Esplora la fusione della perdita di entropia incrociata da apple/ml cross entropy nel ciclo di addestramento dei modelli principali in verl project/verl. Identifica la funzione di perdita corrente del modello e sostituiscila con la versione fusa, garantendo il calcolo del gradiente e il risparmio di memoria.
Tech stack
pythonpytorch
Dominio
backendai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60