Support multi-animal pretrained models in DataJoint DeepLabCut Element

Aperta
#141 1 commento 4 reazioni 1 assegnatario Vedi su GitHub

@esutlie ci sta già lavorando.

Dal 6/11/2025.

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

enhancement

Feature Request

Problem

The DeepLabCut software released the model zoo in 2020, which provides access to pretrained models. Last year, we released the SuperAnimal family of models (see Ye et al. 2024 Nature Communications, which are good foundational models for pose estimation across mice and/or quadrupeds. We would like the Element to support video inference with these models.

Specifically, we would like to follow the suggested workflow from Mathis et al. 2020 Neuron:
Image

Source: https://www.sciencedirect.com/science/article/pii/S0896627320307170

Here, the user should be able to train/deploy OR grab a model and deploy. We are excited to help contribute this feature!

Requirements
  • Select & ingest multi-animal SuperAnimal models.
  • Minimal docs + example notebook.
Implementation
  • new SuperAnimal_Model schema
  • new general model table that is the parent of existing Model and SuperAnimalModel tables
  • the results Compute table (output of deeplabcut.video_inference_superanimal function call)
Lingua principale
Jupyter Notebook
Stelle
13
Fork
37
Merge medio
1h 14m
PR unite (30g)
1

Preparare l'ambiente

Apri in Codespaces

Avvia il container di sviluppo del progetto nel browser, con il tuo account GitHub.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di datajoint/element-deeplabcut

Tutte le issue di datajoint/element-deeplabcut

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.