Clarification on [1] in swinunetr_pretrained README and training pipeline of ssl_pretrained_weights.pth

Đang mở
#2,060 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
38/100
Loại issue
Tài liệu
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Ít trao đổi
Công nghệ
pytorch
Lĩnh vực
documentation, machine-learning

Hướng nghiên cứu

Bắt đầu với self_supervised_pretraining/swinunetr_pretrained/README.md và tài liệu tham chiếu [1], sau đó so sánh pipeline được ghi trong tài liệu với research-contributions/SwinUNETR/Pretrain và SSLHead của nó. Sử dụng các key của checkpoint ssl_pretrained_weights.pth được liệt kê để truy vết pipeline nào đã tạo ra nó. Hoàn tất khi README xác định [1] và nêu rõ pipeline huấn luyện của checkpoint.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi MONAI team,

I’m trying to understand the origin of the pretrained weight:
ssl_pretrained_weights.pth (from MONAI-extra-test-data, ~719MB).

From the checkpoint structure, it contains:

  • encoder.*
  • decoder*
  • out.conv.*
  • encoder.mask_token

which looks like a full encoder-decoder model.

I found the following description in the tutorial README:
https://github.com/Project-MONAI/tutorials/blob/main/self_supervised_pretraining/swinunetr_pretrained/README.md

"The entire SwinUNETR model including encoder and decoder was trained end-to-end using self-supervised learning techniques as outlined in [1]."

However, it is unclear what [1] refers to in terms of actual training code or pipeline.

Could you please help clarify:

  1. What exactly does reference [1] correspond to?
    (Is it a specific paper, or an internal training implementation?)

  2. Was ssl_pretrained_weights.pth trained using the
    research-contributions/SwinUNETR/Pretrain (SSLHead: rotation + contrastive + reconstruction),
    or a different encoder-decoder / autoencoder-style pretraining pipeline?

A short clarification would already help a lot.

Thanks!

Ngôn ngữ chính
Jupyter Notebook
Star
2.5k
Fork
803
Merge trung bình
6 ngày 22 giờ
Pull request đã merge (30 ngày)
3

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Project-MONAI/tutorials

Tất cả issue của Project-MONAI/tutorials

Issue tương tự

Thêm issue về Documentation

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.