maisi unconditioned inference return noise

オープン

#2,017 2025年8月11日に作成コメント 3 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 4/5
見積もり時間: 3〜5日
初心者へのやさしさ: 25/100

issue の種類: バグ
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: jupyter-notebook, python, pytorch
領域: machine-learning

調査の方向性

scripts/diff_model_infer.py と MAISI inference tutorial notebook から始め、ノイズを生成する 1 ステップの再構成を再現してください。推論アーキテクチャと読み込まれた設定を、issue 7991 で議論されている差異も含めて、トレーニング実装と比較してください。指定された設定で、無条件推論または再構成がノイズの多い出力を返さなくなれば完了です。

索引モデルが issue の本文から書いたものです。

説明

Hallo,

I tried longer to make the diffusion unet (rectified flow version) work but without success. the VAE performes correct and encoding and reconstruction look fine. I take all the configs from the repo so configuration as well as weights are equivalently loaded as in https://github.com/Project-MONAI/tutorials/blob/main/generation/maisi/maisi_inference_tutorial.ipynb.

Using the diffusion unet with the existing code of diffusion_model_infer.py with

from scripts.diff_model_infer import run_inference
data = run_inference(
  args,
  device,
  autoencoder,
  diffusion_unet,
  1.4,#scale_factor,
  None,#top_region_index_tensor,
  None, #bottom_region_index_tensor,
  torch.tensor([[1.5,1.5,4.0]]).to('cuda'),#spacing_tensor,
  torch.tensor([1]).to('cuda'),#modality_tensor,
  (96,96,96),#output_size,
  4,
  logger,
)

I saw that there was an issue with the architecture which was different during training and the implementation but I'm not sure if that is related.
https://github.com/Project-MONAI/MONAI/issues/7991.
Some observations I made is when I would like to just reconstruction an image and basically make one step, the recon get's extremly noise.

For any suggestion what could be the potential issue, I'm thankful.

Best,
Lukas

主要言語: Jupyter Notebook
スター: 2.5k
フォーク: 803
平均マージ: 6日 22時間
マージ済み PR（30日）: 3

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

Project-MONAI/tutorials のほかの issue

Bug: need to specify hash_type='md5' in densenet_training_array.ipynb オープン

難易度 1/5 1時間未満初心者へのやさしさ 92/100

Project-MONAI/tutorials#2076 · コメント 2 件 · 2026年9月19日に作成
replace monai.io in the tutorials オープン

難易度 1/5 1〜3時間初心者へのやさしさ 76/100

Project-MONAI/tutorials#2069 · 2026年8月27日に作成
the argument needed to change the default directory in pathology/tumor_detection/README.MD オープン

難易度 1/5 1時間未満初心者へのやさしさ 85/100

Project-MONAI/tutorials#1704 · 2024年4月30日に作成
Tutorial proposal: complete AlbumentationsX augmentation pipeline for HoVerNet オープン

難易度 4/5 3〜5日初心者へのやさしさ 62/100

Project-MONAI/tutorials#2071 · 2026年9月2日に作成
how to select valve segmentation in Auto3DSeg オープン

難易度 3/5 1〜2日初心者へのやさしさ 35/100

Project-MONAI/tutorials#2067 · 2026年7月20日に作成

Project-MONAI/tutorials の issue をすべて見る

似ている issue

[BUG] Multiple errors in classifier's `load_from_path` オープン

bug module:classification

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

sktime/sktime#11283 · コメント 1 件 · 2026年9月23日に作成
[Register Submission] CharXiv オープン

low AI-generated score register-submission

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

UKGovernmentBEIS/inspect_evals#2521 · コメント 2 件 · 2026年9月23日に作成
md5 value for the default slovenian model does not match オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

stanfordnlp/stanza#1683 · コメント 2 件 · 2026年9月23日に作成
wer_score / mer_score / cer_score return 0 (a perfect lower-is-better score) for an empty prediction オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

stanford-crfm/helm#4359 · 2026年9月23日に作成
FalconH1: default cache is [(None, None) * n] instead of [(None, None)] * n, so only layer 0 runs without a cache (breaks all fine-tuning) オープン

難易度 1/5 1時間未満初心者へのやさしさ 90/100

ml-explore/mlx-lm#1915 · コメント 1 件 · 2026年9月23日に作成

Machine Learning の issue をもっと見る