Test-set evaluation metrics
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 半天
- 新手友好度
- 55/100
- Issue 类型
- 功能
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- python, scikit-learn
调研方向
Work goes in src/metrics.py, where evaluate(model, loader) should wrap scikit-learn metrics for accuracy, macro precision/recall/F1, per-class scores and the confusion matrix. Check issue #19 first, since the model and loader interface this depends on may not exist yet. Done means the returned dict is JSON-serialisable for a trained model and classification_report prints with class names.
由索引模型根据 Issue 内容生成。
描述
Accuracy, per-class and macro precision/recall/F1, confusion matrix.
Files: src/metrics.py
Tasks
-
evaluate(model, loader)using scikit-learn - Return dict: accuracy, precision_macro, recall_macro, f1_macro, per_class, confusion
- Print
classification_reportwith class names
Done when
Metrics dict for a trained model is JSON-serialisable.
Depends on
#19
Close with a commit or PR message containing Closes #<this issue>.
- 主要语言
- Jupyter Notebook
- 星标
- 0
- 派生
- 0
- 平均合并
- 2 小时 30 分钟
- 30 天内合并 PR
- 23
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
相似的 Issue
-
01-palmyra-vision section 6 never sends an image through Converse, so the bedrock-runtime path has no vision example可能已有人在做 @sample-per-model-bedrock-dev-agent 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 75/100
aws-samples/sample-per-model-bedrock#437 · 1 条评论 ·
维护者通常 1 天内回复
-
security severity:high
难度 2/5 1-3 小时 新手友好度 65/100
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
维护者通常 1 天内回复
-
[BUG] Universal checkpoint resume puts CPU `step` into fused/capturable optimizer state可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 2/5 1-3 小时 新手友好度 74/100
deepspeedai/DeepSpeed#8884 ·
维护者通常 3 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 65/100