Lightning-AI/pytorch-lightning

Update deepspeed activation checkpointing docs

Open

#17 621 ouverte le 12 mai 2023

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Python (3 233 forks)batch import
docshelp wantedstrategy: deepspeed

Métriques du dépôt

Stars
 (26 687 stars)
Métriques de merge PR
 (Merge moyen 9j 15h) (3 PRs mergées en 30 j)

Description

📚 Documentation

In your documentation, you refer to the function deepspeed.checkpointing.checkpoint, but it looks like it does not exist (anymore?). Can you update that section?

While we're at it, can you provide a more common use-case as an example? The guide warns against wrapping an entire model, but having a pretrained language model from transformers is probably the most common use case. What if someone is just using GPT-2 or T5 with no further mathematical layers? What should get wrapped then?

cc @borda @awaelchli

Guide contributeur

Direction de recherche
Examinez la page de documentation actuelle, trouvez le nom correct de la fonction de checkpoint DeepSpeed et mettez à jour la référence. Recherchez comment envelopper un modèle transformers pré entraîné (par exemple GPT 2) pour le checkpointing d'activation et ajoutez un exemple pratique.
Stack technique
python
Domaine
machine learning
Type d'issue
Documentation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
1
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitPython
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65