Lightning-AI/pytorch-lightning

trainer.test() with given checkpoint logs last epoch instead of checkpoint epoch

Open

#20.052 aperta il 5 lug 2024

Vedi su GitHub
 (1 commento) (1 reazione) (0 assegnatari)Python (3233 fork)batch import
bughelp wantedrepro needed

Metriche repository

Star
 (26.687 star)
Metriche merge PR
 (Merge medio 9g 15h) (3 PR mergiate in 30 g)

Descrizione

Bug description

Testing from a given checkpoint leads to logging the epoch number of the last checkpoint instead of the checkpoint specified:

trainer = Trainer(..., max_epochs=10)
lightning_module = MyLightningModule(...)
datamodule = MyDatamodule()

trainer.fit(lightning_module , datamodule=datamodule)

trainer.test(lightning_module , datamodule=datamodule, ckpt_path="last")     # <-- ok: logs correct epoch and step
ckpt_path="/.../checkpoints/epoch=2-step=396.ckpt"
trainer.test(lightning_module , datamodule=datamodule, ckpt_path=ckpt_path)  # <-- incorrect: logs last epoch and step

The second test logs epoch 10 instead of epoch 2. Similarly, the step number of the second test is incorrect.

What version are you seeing the problem on?

v2.2.1

Guida contributor

Direzione di ricerca
Ispeziona il metodo `trainer.test()` nel codice sorgente di PyTorch Lightning per tracciare come viene gestito `ckpt path` e dove viene registrato il numero dell'epoca. Cerca il codice che estrae l'epoca dal nome del file del checkpoint o dai metadati e verifica che corrisponda all'epoca effettiva del checkpoint.
Tech stack
python
Dominio
machine learningbackend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75