verl-project/verl

[FR] Better metric reduction utility

Fermée

#1 508 ouverte le 13 mai 2025

Voir sur GitHubGuide contributeur
 (5 commentaires) (2 réactions) (0 personne assignée)Python (4 440 forks)auto 404
enhancementfeature requestgood first issue

Métriques du dépôt

Stars
 (23 087 étoiles)
Métriques de merge PR
 (Merge moyen 3j 6h) (125 PRs mergées en 30 j)

Description

Motivation

reduce_metrics seems to be used for reducing metrics across DP ranks and batches, which only simply means the values.

However, reducing metrics across DP ranks is non-trivial since some metrics like "mean" are not linear.

Guide contributeur

Direction de recherche
Examinez l'implémentation actuelle de reduce metrics dans verl/utils/metric/utils.py et déterminez comment réduire correctement les métriques non linéaires comme la moyenne entre les rangs DP. Envisagez d'utiliser des réductions atomiques ou de calculer la somme et le nombre séparément.
Stack technique
python
Domaine
aimachine learningbackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60