Lightning-AI/pytorch-lightning

Update deepspeed activation checkpointing docs

Open

#17.621 aperta il 12 mag 2023

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Python (3233 fork)batch import
docshelp wantedstrategy: deepspeed

Metriche repository

Star
 (26.687 star)
Metriche merge PR
 (Merge medio 9g 15h) (3 PR mergiate in 30 g)

Descrizione

📚 Documentation

In your documentation, you refer to the function deepspeed.checkpointing.checkpoint, but it looks like it does not exist (anymore?). Can you update that section?

While we're at it, can you provide a more common use-case as an example? The guide warns against wrapping an entire model, but having a pretrained language model from transformers is probably the most common use case. What if someone is just using GPT-2 or T5 with no further mathematical layers? What should get wrapped then?

cc @borda @awaelchli

Guida contributor

Direzione di ricerca
Esamina la pagina di documentazione corrente, trova il nome corretto della funzione di checkpointing di DeepSpeed e aggiorna il riferimento. Ricerca come avvolgere un modello transformers pre addestrato (es. GPT 2) per il checkpointing dell'attivazione e aggiungi un esempio pratico.
Tech stack
python
Dominio
machine learning
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
1
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65