MAISI missing labels for conditioning maisi-rflow with vista3D pseudo labels
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 25/100
- Issue-Typ
- Bug
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- jupyter-notebook, pytorch
- Bereich
- machine-learning
Rechercherichtung
Vergleiche die verknüpften MAISI- und VISTA3D-Dateien label_dict.json und überprüfe das MAISI-Inference-Tutorial sowie die darin bereitgestellten Pseudo-Labels. Verfolge, woher das Label 200=body stammt, und ermittle, welches Modell oder welche Pipeline vollständige Labels erzeugt, die mit der maisi-rflow-Konditionierung kompatibel sind. Als erledigt gilt die Aufgabe, wenn das unterstützte Label-Mapping und der Generierungspfad dokumentiert oder korrigiert sind.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
I’m training a pre-trained maisi-rflow model to generate new images conditioned on segmentation masks generated with vista3D.
In MAISI-data is written that the pseudo-labels can be produced using VISTA3D. I’m using MONAI bundle. Both MAISI and VISTA3D have labels IDs from 1 to 132 as can be compared in this two links:
1.https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/configs/label_dict.json
2. https://github.com/Project-MONAI/VISTA/blob/main/vista3d/data/jsons/label_dict.json
However, when I follow the MAISI inference tutorial and download the provided pseudo-labels, I see the label 200=body which does not exist in VISTA3D. As a result, when I condition maisi-rflow on my masks that only include IDs up to 132, generation quality degrades due to the missing label.
Which model or pipeline should I use to produce complete pseudo-labels compatible with maisi-rflow conditioning? Below are examples of generated images.
- Vorherrschende Sprache
- Jupyter Notebook
- Sterne
- 2.6k
- Forks
- 807
- Ø Merge
- 3 T. 7 Std.
- Gemergte PRs (30 T.)
- 3
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus Project-MONAI/tutorials
-
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 76/100
Project-MONAI/tutorials#2069 ·
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100
Project-MONAI/tutorials#1704 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
Project-MONAI/tutorials#2080 ·
-
Rehost CONSepEvtl. vergeben @vikashg hat das vor 16 Tagen übernommen. Offen
Project-MONAI/tutorials#2079 · 1 Kommentar · 2 zugewiesene Personen ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 62/100
Project-MONAI/tutorials#2071 ·
Alle Issues in Project-MONAI/tutorials
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
NVIDIA/earth2studio#1241 ·
Maintainer antworten meist innerhalb von 3 Tagen
-
torch_ops/logprob.cu does not compile with the serving container's nvcc (13.3.73); check_torch_ops.py cannot run as shippedEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 2/5 Unter einer Stunde Anfängerfreundlichkeit 72/100
ashhart/TensorFold#535 ·
Maintainer antworten meist innerhalb von 1 Tag
-
evaluation
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 66/100
-
hw: pvc tests: vllm vllm
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
intel/intel-xpu-backend-for-triton#8362 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Does ONNX Runtime depend on Intel MKL?Evtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
microsoft/onnxruntime#33215 ·
Maintainer antworten meist innerhalb von 2 Tagen