qubvel-org/segmentation_models.pytorch

Add segmentation + classification head fine-tuning example

Open

#912 geöffnet am 23. Aug. 2024

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (1.835 Forks)github user discovery
examplesgood first issue

Repository-Metriken

Stars
 (11.601 Stars)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

It would be great to have more examples for fine-tuning in the library!

Similar to current examples for binary-segmentaion and multi-label segmentation would be great to have example for segmentation + classification head. The same camvid or oxford pet dataset can be used. As a classification target for these datasets, the "existence" of the class on the image can be used.

The example should showcase how to

  • fine-tune a model with pytorch-lightning (or any other fine-tuning framework, even a plain pytorch)
  • use loss function for segmentation and classification
  • compute metrics for classification and segmentation heads
  • visualize results

Docs on how to create a model with classification head.

In case anyone wants to work on this you are welcome! Just notify in this issue, and then ping me to review a PR when it's ready.

Contributor Guide

Research-Richtung
Erkunde die segmentation models.pytorch Bibliothek, um ein Modell mit einem zusätzlichen Klassifikationskopf zu erstellen. Verwende die bereitgestellte Dokumentation zur Erstellung eines solchen Modells. Implementiere dann ein Feintuning Skript mit PyTorch Lightning (oder einfachem PyTorch), das den Segmentierungsverlust und den Klassifikationsverlust kombiniert, Metriken für beide Aufgaben berechnet und die Ergebnisse visualisiert. Verwende einen Datensatz wie CamVid oder Oxford PET, bei dem das Klassifikationsziel die Existenz einer Klasse im Bild ist.
Tech Stack
pythonpytorch
Domain
machine learningbackend
Issue Type
Dokumentation
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchsegmentation models.pytorch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60