[T4] Model A: test-set evaluation (accuracy, confusion matrix, precision, recall)
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 68/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- jupyter-notebook, python
調査の方向性
ModelA.ipynbを開き、issue #56で完了した作業を確認して、テストセットとモデルの出力を特定します。classification_reportを使ってテスト精度と、クラス別およびマクロ平均の適合率、再現率、F1を計算し、件数を示す混同行列と行正規化した混同行列をfigures/model_a_confusion.pngに保存します。メトリクスが出力され、図が保存され、短い考察で混同されたクラスと考えられる理由が特定されていれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Assignment task 4 – evaluation part. The test set is used only once, here.
File: ModelA.ipynb
Tasks
- Test accuracy
- Per-class and macro precision, recall (and F1) with
classification_report - Confusion matrix (counts and row-normalised) →
figures/model_a_confusion.png - Short discussion: which classes are confused (e.g. cats ↔ dogs) and why
Done when
All metrics printed and the confusion-matrix figure saved.
Depends on
#56
Branch: feat/57-model-a-evaluate · open a PR into main with Closes #57 in the description.
- 主要言語
- Jupyter Notebook
- スター
- 0
- フォーク
- 0
- 平均マージ
- 2時間 25分
- マージ済み PR(30日)
- 16
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
VisionForgeCSE/CNN-For-Image-Classification のほかの issue
-
task-4 ws5-comparison
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
VisionForgeCSE/CNN-For-Image-Classification#75 ·
メンテナーはふだん 1 日以内に返信
-
task-5 ws4-efficientnet
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
VisionForgeCSE/CNN-For-Image-Classification#71 ·
メンテナーはふだん 1 日以内に返信
-
task-5 ws3-mobilenetv2
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
VisionForgeCSE/CNN-For-Image-Classification#67 ·
メンテナーはふだん 1 日以内に返信
-
task-4 ws2-model-b
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
VisionForgeCSE/CNN-For-Image-Classification#64 ·
メンテナーはふだん 1 日以内に返信
-
evaluation
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
VisionForgeCSE/CNN-For-Image-Classification#27 ·
メンテナーはふだん 1 日以内に返信
VisionForgeCSE/CNN-For-Image-Classification の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
-
[Bug]: SparseGPTModifier and WandaPruningModifier prune modules listed by exact name in `ignore`オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 90/100
vllm-project/llm-compressor#3304 ·
メンテナーはふだん 1 日以内に返信
-
MiniMax provider forces `thinking: disabled`, which MiniMax-M3.1-Flash-Preview rejects with HTTP 400オープンcore
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
vectorize-io/hindsight#5718 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
mlr-org/mlr3cmprsk#42 ·
メンテナーはふだん 1 日以内に返信
-
StructuredCovEstimator crashes for one factor and uses inconsistent residual variance対応中かも @Divyansh151005 が 1 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
microsoft/qlib#2377 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信