facebookresearch/fairseq

Use symbolic link for saving best/last checkpoints

Open

#5490 aperta il 23 apr 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

🚀 Feature Request

When preparing checkpoint_best.pt and checkpoint_last.pt, create symbolic link instead of making exact copy of the checkpoint

Motivation

I'm running on a machine that somehow has bad io performance, writing the same file 3 times seems extremely inefficient.

Seems that there is plan to implement a asynchronous copying but i believe a symlink is much more efficient https://github.com/facebookresearch/fairseq/blob/bedb259bf34a9fc22073c13a1cee23192fa70ef3/fairseq/checkpoint_utils.py#L128-L141

Pitch

Alternatives

Additional context

Guida contributor

Direzione di ricerca
Rivedere la logica di salvataggio dei checkpoint in fairseq/checkpoint utils.py intorno alle righe 128-141. Comprendere come i checkpoint vengono salvati e copiati. Implementare l'uso di os.symlink invece di shutil.copy per creare collegamenti simbolici per i checkpoint migliori e ultimi. Garantire la compatibilità multipiattaforma (Windows potrebbe richiedere gestione aggiuntiva). Testare la modifica localmente. Considerare casi limite come collegamenti simbolici esistenti o errori di autorizzazione. Discutere eventuali domande nell'issue.
Tech stack
pythonpytorch
Dominio
backendperformance
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Basic PythonUnderstanding of symbolic linksFamiliarity with fairseq checkpoint logic
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
80