facebookresearch/fairseq

Use symbolic link for saving best/last checkpoints

Open

#5 490 ouverte le 23 avr. 2024

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (6 224 forks)batch import
enhancementhelp wantedneeds triage

Métriques du dépôt

Stars
 (29 107 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

🚀 Feature Request

When preparing checkpoint_best.pt and checkpoint_last.pt, create symbolic link instead of making exact copy of the checkpoint

Motivation

I'm running on a machine that somehow has bad io performance, writing the same file 3 times seems extremely inefficient.

Seems that there is plan to implement a asynchronous copying but i believe a symlink is much more efficient https://github.com/facebookresearch/fairseq/blob/bedb259bf34a9fc22073c13a1cee23192fa70ef3/fairseq/checkpoint_utils.py#L128-L141

Pitch

Alternatives

Additional context

Guide contributeur

Direction de recherche
Examinez la logique de sauvegarde des points de contrôle dans fairseq/checkpoint utils.py autour des lignes 128-141. Comprenez comment les points de contrôle sont sauvegardés et copiés. Implémentez l'utilisation de os.symlink au lieu de shutil.copy pour créer des liens symboliques pour les points de contrôle 'best' et 'last'. Assurez la compatibilité multiplateforme (Windows peut nécessiter une gestion supplémentaire). Testez la modification localement. Prenez en compte les cas limites comme les liens symboliques existants ou les erreurs de permissions. Discutez de toute question dans l'issue.
Stack technique
pythonpytorch
Domaine
backendperformance
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Basic PythonUnderstanding of symbolic linksFamiliarity with fairseq checkpoint logic
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
80