Lightning-AI/pytorch-lightning

An example for knowledge distillation. Especially for the load the teacher model's weights , and train the student model

Open

#17.592 aperta il 8 mag 2023

Vedi su GitHub
 (2 commenti) (1 reazione) (0 assegnatari)Python (3233 fork)batch import
examplefeaturehelp wanted

Metriche repository

Star
 (26.687 star)
Metriche merge PR
 (Merge medio 9g 15h) (3 PR mergiate in 30 g)

Descrizione

Description & Motivation

No response

Pitch

A example for knowledge distillation. Especially for the load the teacher model's weight ,and train the student model.

Now I have a trained teacher_model. When I want to train the student model, I need to load the teacher model's weights and set the teacher model to eval().

I am confused about the specific steps to do above using the Lightning. Could I get an example for it?

Alternatives

An example for knowledge distillation. Especially for the load the teacher model's weight ,and train the student model

Additional context

An example for knowledge distillation. Especially for the load the teacher model's weight ,and train the student model.

cc @borda

Guida contributor

Direzione di ricerca
Cerca esempi esistenti di distillazione della conoscenza nel repository Lightning o fornisci indicazioni su come istanziare un modello insegnante, caricare i suoi pesi preaddestrati, impostarlo in modalità di valutazione e definire un modello studente. Implementa un LightningModule che gestisca la perdita di distillazione e la logica di addestramento.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70