Megatron cannot save checkpoint?

Metriche repository

Star

23.023 stelle (23.023 stelle)

Metriche merge PR

Merge medio 3g 6h (Merge medio 3g 6h)125 PR mergiate in 30 g (125 PR mergiate in 30 g)

Descrizione

Guida contributor

Direzione di ricerca

Indaga sul metodo `save checkpoint` mancante in `verl/workers/megatron workers.py` alla riga 428. Esamina le implementazioni esistenti dei checkpoint in altri worker VERL (ad es. `fsdp workers.py`) e le utility di checkpointing di Megatron LM. Implementa un metodo che salvi gli stati del modello e dell'ottimizzatore in un formato compatibile con `load checkpoint`. Rivedi i 4 commenti sull'issue per eventuali contesti aggiuntivi o approcci proposti.

Tech stack

pythonpytorch

Dominio

backendmachine learning

Tipo issue

Funzionalità

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

1-3 ore

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Attiva

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Chiara

Prerequisiti

PythonPyTorchMegatron (distributed training)

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

55