qubvel-org/segmentation_models.pytorch

Add segmentation + classification head fine-tuning example

Open

#912 aperta il 23 ago 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (1835 fork)github user discovery
examplesgood first issue

Metriche repository

Star
 (11.601 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

It would be great to have more examples for fine-tuning in the library!

Similar to current examples for binary-segmentaion and multi-label segmentation would be great to have example for segmentation + classification head. The same camvid or oxford pet dataset can be used. As a classification target for these datasets, the "existence" of the class on the image can be used.

The example should showcase how to

  • fine-tune a model with pytorch-lightning (or any other fine-tuning framework, even a plain pytorch)
  • use loss function for segmentation and classification
  • compute metrics for classification and segmentation heads
  • visualize results

Docs on how to create a model with classification head.

In case anyone wants to work on this you are welcome! Just notify in this issue, and then ping me to review a PR when it's ready.

Guida contributor

Direzione di ricerca
Esplora la libreria segmentation models.pytorch per creare un modello con una testa di classificazione ausiliaria. Utilizza la documentazione fornita per creare tale modello. Quindi, implementa uno script di fine tuning usando PyTorch Lightning (o PyTorch semplice) che combina la perdita di segmentazione e la perdita di classificazione, calcola le metriche per entrambi i compiti e visualizza i risultati. Usa un dataset come CamVid o Oxford PET, dove il target di classificazione è l'esistenza di una classe nell'immagine.
Tech stack
pythonpytorch
Dominio
machine learningbackend
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchsegmentation models.pytorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60