verl-project/verl

[FR] Better metric reduction utility

Aperta

#1508 aperta il 13 mag 2025

Vedi su GitHubGuida contributor
 (5 commenti) (2 reazioni) (0 assegnatari)Python (4426 fork)auto 404
enhancementfeature requestgood first issue

Metriche repository

Star
 (23.023 stelle)
Metriche merge PR
 (Merge medio 3g 6h) (125 PR mergiate in 30 g)

Descrizione

Motivation

reduce_metrics seems to be used for reducing metrics across DP ranks and batches, which only simply means the values.

However, reducing metrics across DP ranks is non-trivial since some metrics like "mean" are not linear.

Guida contributor

Direzione di ricerca
Esamina l'attuale implementazione di reduce metrics in verl/utils/metric/utils.py e determina come ridurre correttamente le metriche non lineari come la media tra i rank DP. Considera l'uso di riduzioni atomiche o il calcolo separato di somma e conteggio.
Tech stack
python
Dominio
aimachine learningbackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60