Test-set evaluation metrics
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 半日
- 初心者へのやさしさ
- 55/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- python, scikit-learn
調査の方向性
Work goes in src/metrics.py, where evaluate(model, loader) should wrap scikit-learn metrics for accuracy, macro precision/recall/F1, per-class scores and the confusion matrix. Check issue #19 first, since the model and loader interface this depends on may not exist yet. Done means the returned dict is JSON-serialisable for a trained model and classification_report prints with class names.
索引モデルが issue の本文から書いたものです。
説明
Accuracy, per-class and macro precision/recall/F1, confusion matrix.
Files: src/metrics.py
Tasks
-
evaluate(model, loader)using scikit-learn - Return dict: accuracy, precision_macro, recall_macro, f1_macro, per_class, confusion
- Print
classification_reportwith class names
Done when
Metrics dict for a trained model is JSON-serialisable.
Depends on
#19
Close with a commit or PR message containing Closes #<this issue>.
- 主要言語
- Jupyter Notebook
- スター
- 0
- フォーク
- 0
- 平均マージ
- 5時間 32分
- マージ済み PR(30日)
- 5
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
VisionForgeCSE/CNN-For-Image-Classification のほかの issue
-
evaluation
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
-
evaluation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
-
evaluation
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
training
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
Optimizer factoryオープンtraining
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
VisionForgeCSE/CNN-For-Image-Classification の issue をすべて見る
似ている issue
-
Angle brackets are not tokenizer delimiters, so `<http://…>` fuses the opening bracket to the URLオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
maziyarpanahi/openmed#4204 · コメント 1 件 ·
メンテナーはふだん 3 日以内に返信
-
icu-benchmarks evaluate --eval crashes on ML classifiers: unconditional model.set_weight() callオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
rvandewater/YAIB#206 ·
-
Non-positive worker counts wait for results without starting workers対応中かも @IlyaKhalafi が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信