qubvel-org/segmentation_models.pytorch

Add segmentation + classification head fine-tuning example

Open

#912 ouverte le 23 août 2024

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Python (1 835 forks)github user discovery
examplesgood first issue

Métriques du dépôt

Stars
 (11 601 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

It would be great to have more examples for fine-tuning in the library!

Similar to current examples for binary-segmentaion and multi-label segmentation would be great to have example for segmentation + classification head. The same camvid or oxford pet dataset can be used. As a classification target for these datasets, the "existence" of the class on the image can be used.

The example should showcase how to

  • fine-tune a model with pytorch-lightning (or any other fine-tuning framework, even a plain pytorch)
  • use loss function for segmentation and classification
  • compute metrics for classification and segmentation heads
  • visualize results

Docs on how to create a model with classification head.

In case anyone wants to work on this you are welcome! Just notify in this issue, and then ping me to review a PR when it's ready.

Guide contributeur

Direction de recherche
Explorez la bibliothèque segmentation models.pytorch pour créer un modèle avec une tête de classification auxiliaire. Utilisez la documentation fournie pour créer un tel modèle. Ensuite, implémentez un script de réglage fin utilisant PyTorch Lightning (ou PyTorch simple) qui combine la perte de segmentation et la perte de classification, calcule les métriques pour les deux tâches et visualise les résultats. Utilisez un ensemble de données comme CamVid ou Oxford PET, où la cible de classification est l'existence d'une classe dans l'image.
Stack technique
pythonpytorch
Domaine
machine learningbackend
Type d'issue
Documentation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorchsegmentation models.pytorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60