Evaluate Model A and Model B on the test set
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 42/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 活跃
- 技术栈
- python
调研方向
Start in scripts/evaluate_custom.py, which the issue names as the file to create or extend. Blockers #32, #23 and #25 must land first, since the saved checkpoints for Model A and Model B come from them. Compute accuracy, precision, recall, F1 and a confusion matrix per model, save figures/cm_model_A.png and figures/cm_model_B.png, and write results/metrics_custom.json. Done when that JSON contains entries for both models.
由索引模型根据 Issue 内容生成。
描述
Load the saved checkpoints and compute all metrics.
Files: scripts/evaluate_custom.py
Tasks
- Accuracy, precision, recall, F1, confusion matrix for each model
- Confusion-matrix figures ->
figures/cm_model_A.png,figures/cm_model_B.png - Save metrics to
results/metrics_custom.json
Done when
Metrics JSON contains both models.
Depends on
#32 #23 #25
Close with a commit or PR message containing Closes #<this issue>.
- 主要语言
- Jupyter Notebook
- 星标
- 0
- 派生
- 0
- 平均合并
- 2 小时 25 分钟
- 30 天内合并 PR
- 16
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
VisionForgeCSE/CNN-For-Image-Classification 的其他 Issue
-
task-4 ws5-comparison
难度 2/5 1-3 小时 新手友好度 72/100
VisionForgeCSE/CNN-For-Image-Classification#75 ·
维护者通常 1 天内回复
-
task-5 ws4-efficientnet
难度 2/5 1-3 小时 新手友好度 82/100
VisionForgeCSE/CNN-For-Image-Classification#71 ·
维护者通常 1 天内回复
-
task-5 ws3-mobilenetv2
难度 2/5 1-3 小时 新手友好度 72/100
VisionForgeCSE/CNN-For-Image-Classification#67 ·
维护者通常 1 天内回复
-
task-4 ws2-model-b
难度 2/5 1-3 小时 新手友好度 74/100
VisionForgeCSE/CNN-For-Image-Classification#64 ·
维护者通常 1 天内回复
-
evaluation
难度 2/5 1-3 小时 新手友好度 66/100
VisionForgeCSE/CNN-For-Image-Classification#27 ·
维护者通常 1 天内回复
查看 VisionForgeCSE/CNN-For-Image-Classification 的全部 Issue
相似的 Issue
-
InverseWishart.variance is wrong for off-diagonal entries可能已有人在做 @juanitorduz 今天认领。 未关闭bug
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复
-
enhancement good first issue
难度 2/5 1-3 小时 新手友好度 83/100
-
难度 1/5 1 小时以内 新手友好度 68/100
维护者通常 2 天内回复
-
CriticalAdaKVPress and PerLayerCompressionPress do not forward post_init_from_model to the wrapped press可能已有人在做 @auraseb 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 84/100
维护者通常 1 天内回复
-
`BootStrapper` computes the `quantile` over all outputs at once for metrics with non-scalar results可能已有人在做 @RaphaelFakhri 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 72/100
Lightning-AI/torchmetrics#3582 · 1 条评论 ·
维护者通常 1 天内回复