verl-project/verl

[FR] Tests for gradient accumulation

Fermée

#907 ouverte le 3 avr. 2025

Voir sur GitHubGuide contributeur
 (0 commentaire) (0 réaction) (0 personne assignée)Python (4 440 forks)auto 404
enhancementgood first issue

Métriques du dépôt

Stars
 (23 087 étoiles)
Métriques de merge PR
 (Merge moyen 3j 6h) (125 PRs mergées en 30 j)

Description

Summary

Promise from #906.

Add tests to assert the losses on the same mini-batch are equal

  • between w/o & w/ gradient accumulation
  • using all the different loss aggregation modes

Plan

We might went to test end-to-end to avoid potential implication by any other changes.

Plan Pro
A) Inherit a new Trainer class to test Standalone without affecting the main config
B) Add a config term and modify update_* to test 1) Minimal code modification 2) Compatibility to any Trainer

Guide contributeur

Direction de recherche
Étudiez les deux plans proposés : A) créer une nouvelle sous classe de Trainer pour les tests afin d'éviter d'affecter la configuration principale, ou B) ajouter un terme de configuration et modifier les méthodes update *. Les tests doivent affirmer que les pertes sur le même mini batch sont égales avec et sans accumulation de gradients dans tous les modes d'agrégation des pertes. Examinez la suite de tests existante dans le dépôt pour comprendre la structure des tests et envisagez de mettre en œuvre les deux options si cela est réalisable. Examinez l'implémentation de l'accumulation de gradients dans l'entraîneur pour identifier les méthodes update * et les modes d'agrégation des pertes.
Stack technique
pythonpytorch
Domaine
testing
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorchgradient accumulation
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70