verl-project/verl

[FR] Documentation about Resolving OOM

Chiusa

#1014 aperta il 10 apr 2025

Vedi su GitHubGuida contributor
 (6 commenti) (7 reazioni) (0 assegnatari)Python (4426 fork)auto 404
call for contributiondocumentationgood first issue

Metriche repository

Star
 (23.023 stelle)
Metriche merge PR
 (Merge medio 3g 6h) (125 PR mergiate in 30 g)

Descrizione

Motivation

There are many issues related to OOM, e.g. #328 . We might need a clear guide about how to resolve OOM.

Plan

A non-exclusive enumeration about related configurations:

  1. Rollout：gpu_memory_utilization
  2. Other Inference：
    1. Liger Kernel
    2. *_max_len_per_gpu / micro_batch_size_per_gpu
  3. Training:
    1. Liger Kernel
    2. Ulysses Sequence Parallelism
    3. gradient checkpointing
    4. offload

TODO

  • Complete the list of related configurations
  • Benchmark the effect & overhead of each configuration

Guida contributor

Direzione di ricerca
Indaga sulle questioni esistenti relative a OOM, ad esempio #328, per identificare scenari comuni. Per ogni configurazione elencata (gpu memory utilization di rollout, Liger Kernel, max len/gpu, gradient checkpointing, ecc.), valuta l'effetto sull'utilizzo della memoria e sulle prestazioni dell'addestramento. Documenta i risultati in una guida strutturata, facendo riferimento a file sorgente rilevanti come script di configurazione e cicli di addestramento.
Tech stack
pythonpytorch
Dominio
documentationperformance
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
basic Pythonfamiliarity with PyTorchunderstanding of GPU memory
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70