Evaluate Model A and Model B on the test set
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 42/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
Start in scripts/evaluate_custom.py, which the issue names as the file to create or extend. Blockers #32, #23 and #25 must land first, since the saved checkpoints for Model A and Model B come from them. Compute accuracy, precision, recall, F1 and a confusion matrix per model, save figures/cm_model_A.png and figures/cm_model_B.png, and write results/metrics_custom.json. Done when that JSON contains entries for both models.
索引モデルが issue の本文から書いたものです。
説明
Load the saved checkpoints and compute all metrics.
Files: scripts/evaluate_custom.py
Tasks
- Accuracy, precision, recall, F1, confusion matrix for each model
- Confusion-matrix figures ->
figures/cm_model_A.png,figures/cm_model_B.png - Save metrics to
results/metrics_custom.json
Done when
Metrics JSON contains both models.
Depends on
#32 #23 #25
Close with a commit or PR message containing Closes #<this issue>.
- 主要言語
- Jupyter Notebook
- スター
- 0
- フォーク
- 0
- 平均マージ
- 1分
- マージ済み PR（30日）
- 3
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
VisionForgeCSE/CNN-For-Image-Classification のほかの issue
-
evaluation
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
-
evaluation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
-
evaluation
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
training
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
Optimizer factoryオープンtraining
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
VisionForgeCSE/CNN-For-Image-Classification の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
huggingface/peft#3955 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
huggingface/transformers#49556 ·
メンテナーはふだん 1 日以内に返信
-
bug embedded exports
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
ultralytics/ultralytics#26655 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
enhancement needs-acceptance wg/router-models-inference-runtime
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
vllm-project/semantic-router#5015 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
メンテナーはふだん 2 日以内に返信