verl-project/verl

[FR] Better metric reduction utility

Open

#1,508 opened on 2025年5月13日

GitHub で見る
 (2 comments) (2 reactions) (0 assignees)Python (21,533 stars) (3,940 forks)auto 404
enhancementfeature requestgood first issue

説明

Motivation

reduce_metrics seems to be used for reducing metrics across DP ranks and batches, which only simply means the values.

However, reducing metrics across DP ranks is non-trivial since some metrics like "mean" are not linear.

コントリビューターガイド

技術スタック
pythonpytorch
領域
machine learningdata
Issue 種別
feature
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
4
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-2 days
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
fresh
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
mostly clear
前提条件
PythonPyTorch distributedverl codebase
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
25
調査方針
Investigate the current reduce metrics function at https://github.com/verl project/verl/blob/main/verl/utils/metric/utils.py. Understand the different types of metrics and their reduction requirements across data parallel ranks. Propose a generalized reduction strategy that accounts for non linear metrics like mean. Consider existing implementations in PyTorch or other frameworks.