pytorch/ignite

Support for TorchSnapshot for efficient checkpoint saving and loading

Open

#2 752 ouverte le 24 oct. 2022

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Python (4 313 stars) (602 forks)batch import
enhancementhelp wanted

Description

🚀 Feature

TorchSnapshot is a performant, memory-efficient checkpointing library for PyTorch applications, designed with large, complex distributed workloads in mind. It includes many optimizations to control for memory usage and optimize checkpoint writing for DDP-style workloads over torch.save/torch.load. For more information, please check out the readme: https://github.com/pytorch/torchsnapshot#why-torchsnapshot

This could be a nice addition to Ignite, similar to the existing Checkpoint handler

cc @yifuwang

Guide contributeur

Stack technique
python
Domaine
machine learning
Type d'issue
feature
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 days
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
PyTorch Ignite basicsUnderstanding of checkpointing concepts
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30
Direction de recherche
Start by reviewing the existing Checkpoint handler in pytorch/ignite (likely in ignite/handlers/checkpoint.py) to understand the current implementation. Then explore the TorchSnapshot documentation and examples to understand its API and how it could replace or augment the current checkpointing. Consider contributing by implementing a new handler or modifying the existing one to support TorchSnapshot, similar to how Ignite handles other saving methods. Discuss design in the issue comments with maintainers before proceeding.