Lightning-AI/pytorch-lightning

An example for knowledge distillation. Especially for the load the teacher model's weights , and train the student model

Open

#17.592 geöffnet am 8. Mai 2023

Auf GitHub ansehen
 (2 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Python (3.233 Forks)batch import
examplefeaturehelp wanted

Repository-Metriken

Stars
 (26.687 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 9T 15h) (3 gemergte PRs in 30 T)

Beschreibung

Description & Motivation

No response

Pitch

A example for knowledge distillation. Especially for the load the teacher model's weight ,and train the student model.

Now I have a trained teacher_model. When I want to train the student model, I need to load the teacher model's weights and set the teacher model to eval().

I am confused about the specific steps to do above using the Lightning. Could I get an example for it?

Alternatives

An example for knowledge distillation. Especially for the load the teacher model's weight ,and train the student model

Additional context

An example for knowledge distillation. Especially for the load the teacher model's weight ,and train the student model.

cc @borda

Contributor Guide

Research-Richtung
Suchen Sie nach vorhandenen Beispielen zur Wissensdestillation im Lightning Repository oder geben Sie Anleitungen zum Instanziieren eines Teacher Modells, Laden seiner vortrainierten Gewichte, Setzen in den Evaluierungsmodus und Definieren eines Student Modells. Implementieren Sie ein LightningModule, das den Destillationsverlust und die Trainingslogik behandelt.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Dokumentation
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70