Evaluation suite - output

オープン

#36 2020年8月11日に作成コメント 1 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 5/5
見積もり時間: 1週間以上
初心者へのやさしさ: 30/100

issue の種類: 機能追加
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: pandas, python
領域: analytics, data

調査の方向性

ファイル、テスト、実装のエントリーポイントは指定されていません。まず評価プロセスとリンクされている Evaluation Metrics Task Force のコンテキストを確認し、次に参照/出力メトリクスがどこで計算されているかを特定します。raw レポートと population レポートを pandas のデータフレームとして利用でき、CSV、XLSX、HTML として保存できれば完了です。

索引モデルが issue の本文から書いたものです。

説明

Context
Following the evaluation process on a set of references / output pairs, an aggregated report should be produced

Describe the solution you'd like
2 separate aggregations should be proposed:

Raw aggregation - All the calculated metrics for each reference/output pair should be made available
Population aggregation - Core statistics of the metrics over the population of reference/output pair should be produced including
- central tendency and variation
- indication of range
- indication of cases at 5, 25, 50, 75, 95 percentile of performance for each metric
The reports should be made available as pandas data frame with the option to save in a specified format (csv, xlsx, html)

Additional context
https://github.com/Project-MONAI/MONAI/wiki/Evaluation-metrics-task-force
@jenspetersen
@danieltudosiu
@AReinke

主要言語: Python
スター: 104
フォーク: 18
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

Project-MONAI/MetricsReloaded のほかの issue

Documentation: AssignmentMapping オープン

難易度 1/5 1時間未満初心者へのやさしさ 68/100

Project-MONAI/MetricsReloaded#12 · 2022年11月10日に作成
MorphologyOps.foreground_component() ignores connectivity parameter, always uses 1-connectivity オープン

難易度 2/5 1〜3時間初心者へのやさしさ 55/100

Project-MONAI/MetricsReloaded#56 · 2025年7月3日に作成
List value not in prediction class leads to error オープン

難易度 3/5 1〜2日初心者へのやさしさ 35/100

Project-MONAI/MetricsReloaded#51 · 2024年11月8日に作成
Unnecessary warning for multi-label pairwise measures オープン

難易度 2/5 1〜3時間初心者へのやさしさ 50/100

Project-MONAI/MetricsReloaded#50 · 2024年11月6日に作成
BinaryPairwiseMeasures.__init__() got an unexpected keyword argument 'axis' オープン

難易度 2/5 1〜3時間初心者へのやさしさ 52/100

Project-MONAI/MetricsReloaded#49 · 2024年10月10日に作成

Project-MONAI/MetricsReloaded の issue をすべて見る

似ている issue

PATCH /interviews/{id} 的 goal 字段没有任何长度上限，500KB 字符串直接落库且每次 GET detail 都全量带回オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

xinnan-tech/xiaozhi-fde-talk#263 · 2026年9月24日に作成
rules: REQ-0480 'left fold' jargon is redundant with its own plain restatement オープン

rules

難易度 1/5 1時間未満初心者へのやさしさ 90/100

elong0527/yamaa#978 · 2026年9月24日に作成
Validation discards output from runners that report on stderr (jest, unittest) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

huggingface/Repo2RLEnv#163 · コメント 1 件 · 2026年9月24日に作成
Source link in quantize_embeddings have shifted code highlights オープン

難易度 1/5 1時間未満初心者へのやさしさ 95/100

huggingface/sentence-transformers#4074 · 2026年9月24日に作成
Queue insertion button ("插入排队消息") missing in api_server sessions — canInsert allowlist only covers cli/global_agent オープン

comp/dashboard invalid P3

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

NousResearch/hermes-agent#121143 · 2026年9月24日に作成

Python の issue をもっと見る