verl-project/verl

[FR] Tests for gradient accumulation

Chiusa

#907 aperta il 3 apr 2025

Vedi su GitHubGuida contributor
 (0 commenti) (0 reazioni) (0 assegnatari)Python (4426 fork)auto 404
enhancementgood first issue

Metriche repository

Star
 (23.023 stelle)
Metriche merge PR
 (Merge medio 3g 6h) (125 PR mergiate in 30 g)

Descrizione

Summary

Promise from #906.

Add tests to assert the losses on the same mini-batch are equal

  • between w/o & w/ gradient accumulation
  • using all the different loss aggregation modes

Plan

We might went to test end-to-end to avoid potential implication by any other changes.

Plan Pro
A) Inherit a new Trainer class to test Standalone without affecting the main config
B) Add a config term and modify update_* to test 1) Minimal code modification 2) Compatibility to any Trainer

Guida contributor

Direzione di ricerca
Indaga i due piani proposti: A) creare una nuova sottoclasse di Trainer per i test per evitare di influenzare la configurazione principale, o B) aggiungere un termine di configurazione e modificare i metodi update *. I test dovrebbero asserire che le perdite sullo stesso mini batch siano uguali con e senza accumulo di gradienti in tutte le modalità di aggregazione delle perdite. Esamina la suite di test esistente nel repository per comprendere la struttura dei test e considera di implementare entrambe le opzioni se fattibile. Esamina l'implementazione dell'accumulo di gradienti nel trainer per identificare i metodi update * e le modalità di aggregazione delle perdite.
Tech stack
pythonpytorch
Dominio
testing
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchgradient accumulation
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70