Evaluate pretrained models (metrics, size, MACs)
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- python
- Lĩnh vực
- data-visualization, machine-learning
Hướng nghiên cứu
Work in scripts/evaluate_pretrained.py, which should produce results/metrics_pretrained.json and figures/curves_pretrained.png. Start by reading the script and the issues this depends on (#37, #23, #25, #26, #27), since the pretrained models and their outputs come from them. Measure params, size on disk, MACs at 64x64 via thop.profile, and latency. Done when the metrics JSON contains entries for both pretrained models.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
The brief asks for parameter count and model size in MB.
Files: scripts/evaluate_pretrained.py
Tasks
- Accuracy, precision, recall, F1, confusion matrices -> figures
- Params, size on disk (MB), MACs at 64x64 using
thop.profile, latency - Curves figure ->
figures/curves_pretrained.png; metrics ->results/metrics_pretrained.json
Done when
Metrics JSON contains both pretrained models.
Depends on
#37 #23 #25 #26 #27
Close with a commit or PR message containing Closes #<this issue>.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 0
- Fork
- 0
- Merge trung bình
- 5 giờ 32 phút
- Pull request đã merge (30 ngày)
- 5
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của VisionForgeCSE/CNN-For-Image-Classification
-
Inference latency benchmarkĐang mởevaluation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
-
evaluation good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
-
Plot confusion matrixĐang mởevaluation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
-
Save training histories to JSONĐang mởtraining
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
-
Optimizer factoryĐang mởtraining
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
Tất cả issue của VisionForgeCSE/CNN-For-Image-Classification
Issue tương tự
-
Good First Issue Module: Analytics P2 Team S Type: Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
google/site-kit-wp#13881 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
HoshinoSuzumi/chronoframe#414 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Contour plot shows objective values at wrong positions when the study has non-complete trialsĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
optuna/optuna-dashboard#1360 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Radar draws a null value at the center and ignores connectNullsCó thể đã có người làm @maxymlyskov đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
01 type: bug 13 prio: normal 41 lvl: easy 99 tag: github stats
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 74/100