maisi unconditioned inference return noise

Offen

#2,017 erstellt am 11.8.2025 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 25/100

Issue-Typ: Bug
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: jupyter-notebook, python, pytorch
Bereich: machine-learning

Rechercherichtung

Beginnen Sie mit scripts/diff_model_infer.py und dem MAISI inference tutorial notebook und reproduzieren Sie die einstufige Rekonstruktion, die Rauschen erzeugt. Vergleichen Sie die Inferenzarchitektur und die geladene Konfiguration mit der Trainingsimplementierung, einschließlich der in issue 7991 besprochenen Unterschiede. Erledigt ist die Aufgabe, wenn die unbedingte Inferenz oder Rekonstruktion unter den vorgegebenen Einstellungen keine verrauschte Ausgabe mehr zurückgibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Hallo,

I tried longer to make the diffusion unet (rectified flow version) work but without success. the VAE performes correct and encoding and reconstruction look fine. I take all the configs from the repo so configuration as well as weights are equivalently loaded as in https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/maisi_inference_tutorial.ipynb.

Using the diffusion unet with the existing code of diffusion_model_infer.py with

from scripts.diff_model_infer import run_inference
data = run_inference(
  args,
  device,
  autoencoder,
  diffusion_unet,
  1.4,#scale_factor,
  None,#top_region_index_tensor,
  None, #bottom_region_index_tensor,
  torch.tensor([[1.5,1.5,4.0]]).to('cuda'),#spacing_tensor,
  torch.tensor([1]).to('cuda'),#modality_tensor,
  (96,96,96),#output_size,
  4,
  logger,
)

I saw that there was an issue with the architecture which was different during training and the implementation but I'm not sure if that is related.
https://github.com/Project-MONAI/MONAI/issues/7991.
Some observations I made is when I would like to just reconstruction an image and basically make one step, the recon get's extremly noise.

For any suggestion what could be the potential issue, I'm thankful.

Best,
Lukas

Vorherrschende Sprache: Jupyter Notebook
Sterne: 2.5k
Forks: 803
Ø Merge: 6 T. 22 Std.
Gemergte PRs (30 T.): 3

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus Project-MONAI/tutorials

Bug: need to specify hash_type='md5' in densenet_training_array.ipynb Offen

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 92/100

Project-MONAI/tutorials#2076 · 2 Kommentare · Erstellt am 19.9.2026
replace monai.io in the tutorials Offen

Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 76/100

Project-MONAI/tutorials#2069 · Erstellt am 27.8.2026
the argument needed to change the default directory in pathology/tumor_detection/README.MD Offen

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 85/100

Project-MONAI/tutorials#1704 · Erstellt am 30.4.2024
Rehost CONSep Offen

Project-MONAI/tutorials#2079 · 2 zugewiesene Personen · Erstellt am 23.9.2026
Tutorial proposal: complete AlbumentationsX augmentation pipeline for HoVerNet Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 62/100

Project-MONAI/tutorials#2071 · Erstellt am 02.9.2026

Alle Issues in Project-MONAI/tutorials