verl-project/verl

[FR] Better metric reduction utility

Geschlossen

#1.508 geöffnet am 13.05.2025

Auf GitHub ansehenContributor Guide
 (5 Kommentare) (2 Reaktionen) (0 zugewiesene Personen)Python (4.440 Forks)auto 404
enhancementfeature requestgood first issue

Repository-Metriken

Stars
 (23.087 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 3T 6h) (125 gemergte PRs in 30 T)

Beschreibung

Motivation

reduce_metrics seems to be used for reducing metrics across DP ranks and batches, which only simply means the values.

However, reducing metrics across DP ranks is non-trivial since some metrics like "mean" are not linear.

Contributor Guide

Research-Richtung
Untersuche die aktuelle Implementierung von reduce metrics in verl/utils/metric/utils.py und bestimme, wie nichtlineare Metriken wie der Mittelwert über DP Ränge hinweg korrekt reduziert werden können. Erwäge die Verwendung von atomaren Reduktionen oder die getrennte Berechnung von Summe und Anzahl.
Tech Stack
python
Domain
aimachine learningbackend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Python
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60