Lightning-AI/pytorch-lightning

An example for knowledge distillation. Especially for the load the teacher model's weights , and train the student model

Open

#17 592 ouverte le 8 mai 2023

Voir sur GitHub
 (2 commentaires) (1 réaction) (0 assignés)Python (3 233 forks)batch import
examplefeaturehelp wanted

Métriques du dépôt

Stars
 (26 687 stars)
Métriques de merge PR
 (Merge moyen 9j 15h) (3 PRs mergées en 30 j)

Description

Description & Motivation

No response

Pitch

A example for knowledge distillation. Especially for the load the teacher model's weight ,and train the student model.

Now I have a trained teacher_model. When I want to train the student model, I need to load the teacher model's weights and set the teacher model to eval().

I am confused about the specific steps to do above using the Lightning. Could I get an example for it?

Alternatives

An example for knowledge distillation. Especially for the load the teacher model's weight ,and train the student model

Additional context

An example for knowledge distillation. Especially for the load the teacher model's weight ,and train the student model.

cc @borda

Guide contributeur

Direction de recherche
Cherchez des exemples existants de distillation des connaissances dans le dépôt Lightning ou fournissez des conseils sur l'instanciation d'un modèle enseignant, le chargement de ses poids pré entraînés, la mise en mode évaluation et la définition d'un modèle étudiant. Implémentez un LightningModule qui gère la perte de distillation et la logique d'entraînement.
Stack technique
pythonpytorch
Domaine
machine learningai
Type d'issue
Documentation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70