Lightning-AI/lit-llama

Resume in the pretraining code

Aperta

#359 aperta il 2 giu 2023

Vedi su GitHub
 (2 commenti) (1 reazione) (0 assegnatari)Python (473 fork)batch import
help wanted

Metriche repository

Star
 (5533 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

I would like to request a new feature in the code: the ability to resume training from a checkpoint.

Currently, the code can save a checkpoint of the model's state at any point during training. However, there is no way to resume training from a checkpoint.

The code can save two things along with the model state_dict: 1)the optimizer, 2)the id of the last example it has seen (assuming the data is fed sequentially to the model not randomly)

Guida contributor

Direzione di ricerca
Implementa il caricamento del checkpoint per ripristinare lo stato del modello, dell'ottimizzatore e dei dati, quindi riprendi il ciclo di addestramento.
Tech stack
python
Dominio
ai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65