verl-project/verl

[FR] Documentation about Resolving OOM

クローズ

#1,014 opened on 2025/04/10

GitHub で見るコントリビューターガイド
 (6 件のコメント) (7 件のリアクション) (0 人の担当者)Python (4,427 件のフォーク)auto 404
call for contributiondocumentationgood first issue

Repository metrics

Stars
 (23,038 個のスター)
PR merge metrics
 (平均マージ 3d 6h) (30d で 125 merged PRs)

説明

Motivation

There are many issues related to OOM, e.g. #328 . We might need a clear guide about how to resolve OOM.

Plan

A non-exclusive enumeration about related configurations:

  1. Rollout：gpu_memory_utilization
  2. Other Inference：
    1. Liger Kernel
    2. *_max_len_per_gpu / micro_batch_size_per_gpu
  3. Training:
    1. Liger Kernel
    2. Ulysses Sequence Parallelism
    3. gradient checkpointing
    4. offload

TODO

  • Complete the list of related configurations
  • Benchmark the effect & overhead of each configuration

コントリビューターガイド

調査方針
既存の OOM 関連の問題（例：#328）を調査し、一般的なシナリオを特定します。リストされている各設定（rollout の gpu memory utilization、Liger Kernel、max len/gpu、勾配チェックポイントなど）について、メモリ使用量とトレーニング性能への影響をベンチマークします。設定スクリプトやトレーニングループなどの関連ソースファイルを参照しながら、調査結果を構造化ガイドに文書化します。
技術スタック
pythonpytorch
領域
documentationperformance
Issue 種別
ドキュメント
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-2日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
basic Pythonfamiliarity with PyTorchunderstanding of GPU memory
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
70