Evaluate pretrained models (metrics, size, MACs)
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- python
調査の方向性
Work in scripts/evaluate_pretrained.py, which should produce results/metrics_pretrained.json and figures/curves_pretrained.png. Start by reading the script and the issues this depends on (#37, #23, #25, #26, #27), since the pretrained models and their outputs come from them. Measure params, size on disk, MACs at 64x64 via thop.profile, and latency. Done when the metrics JSON contains entries for both pretrained models.
索引モデルが issue の本文から書いたものです。
説明
The brief asks for parameter count and model size in MB.
Files: scripts/evaluate_pretrained.py
Tasks
- Accuracy, precision, recall, F1, confusion matrices -> figures
- Params, size on disk (MB), MACs at 64x64 using
thop.profile, latency - Curves figure ->
figures/curves_pretrained.png; metrics ->results/metrics_pretrained.json
Done when
Metrics JSON contains both pretrained models.
Depends on
#37 #23 #25 #26 #27
Close with a commit or PR message containing Closes #<this issue>.
- 主要言語
- Jupyter Notebook
- スター
- 0
- フォーク
- 0
- 平均マージ
- 5時間 32分
- マージ済み PR(30日)
- 5
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
VisionForgeCSE/CNN-For-Image-Classification のほかの issue
-
evaluation
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
-
evaluation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
-
evaluation
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
training
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
Optimizer factoryオープンtraining
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
VisionForgeCSE/CNN-For-Image-Classification の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
ScottKirvan/GOMAC#56 ·
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
cytoscape/cytoscape.js#3536 ·
メンテナーはふだん 15 日以内に返信
-
tech-debt
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
petercorke/bdsim#113 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 3 日以内に返信
-
bug frontend good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
StellarLock/StellarLock#971 ·
メンテナーはふだん 1 日以内に返信