Binary pretrained model can't train a multi-class classifier?
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu với lời gọi GraphormerForGraphClassification.from_pretrained và ví dụ graphml-classification.md, sau đó tái tạo script Python bằng checkpoint clefourrier/graphormer-base-pcqm4mv2 và 168 lớp. Kiểm tra xem classifier-size warning hay tiến trình huấn luyện bị đình trệ mới là vấn đề cần xử lý; hoàn tất khi quá trình huấn luyện đa lớp tiếp tục diễn ra hoặc lỗi được giải thích rõ ràng.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I use model_checkpoint = "clefourrier/graphormer-base-pcqm4mv2" # pre-trained model from which to fine-tune
to be my pretrained model, and my dataset is here.
I follow the code in this website.
But change the
model = GraphormerForGraphClassification.from_pretrained(
model_checkpoint,
# We have 167 attack patterns and 1 benign
num_classes=168,
# provide this in case you're planning to fine-tune an already fine-tuned checkpoint
ignore_mismatched_sizes = True,
Since I have 168 class to be classified.
Then when I run the python script, I encountered:
Some weights of GraphormerForGraphClassification were not initialized from the model checkpoint at clefourrier/graphormer-base-pcqm4mv2 and are newly initialized because the shapes did not match:
- classifier.classifier.weight: found shape torch.Size([1, 768]) in the checkpoint and torch.Size([168, 768]) in the model instantiated
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
0%| | 0/23120 [00:00<?, ?it/s]
For about 20 min, the log didn't move at all.
- Ngôn ngữ chính
- Python
- Star
- 2.5k
- Fork
- 374
- Merge trung bình
- 14 giờ 51 phút
- Pull request đã merge (30 ngày)
- 3
Chuẩn bị môi trường
Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của microsoft/Graphormer
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
microsoft/Graphormer#211 ·
-
SAS updataĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
microsoft/Graphormer#210 ·
-
Interpolation between statesĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
microsoft/Graphormer#208 ·
-
CUDA out of memoryĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100
microsoft/Graphormer#207 · 1 bình luận ·
-
How do I prepare OC20 dataset?Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
microsoft/Graphormer#205 ·
Tất cả issue của microsoft/Graphormer
Issue tương tự
-
documentation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
kristofdegrave/homeassistant-smart-charging#1413 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
nasa/earthdata-varinfo#113 ·
-
curriculum documentation quality
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
githubnext/gh-aw-workshop#3849 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 90/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày