Add step_hint_batch_size property to workloads to allow submissions to know the batch size the baseline defining the step hint used
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 48/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
この issue では workloads と既存の step_hint 値が示されていますが、ファイルやテストのエントリーポイントは示されていません。まず workload の定義と、submissions が step hints を読み取る方法を探します。完了条件は、各 workload がその step hint に使用されるベースラインのバッチサイズを公開することです。
索引モデルが issue の本文から書いたものです。
説明
The step_hint is meaningless without knowing the batch size the baseline used. We should just provide that information for each workload so submissions that use batch sizes that non-uniformly vary relative to the baseline can properly adjust the step hints, if they desire.
- 主要言語
- Python
- スター
- 425
- フォーク
- 78
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
mlcommons/algorithmic-efficiency のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
mlcommons/algorithmic-efficiency#924 · コメント 5 件 ·
-
Anima: live PH monitoring in conversational agent — overfitting detection every 50 interactionsオープン
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
-
Topological overfitting detection: H0 gap catches overfitting before accuracy diverges (r=0.998)オープン
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
mlcommons/algorithmic-efficiency の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
bug
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
qgis/QGIS-Plugins-Website#459 ·
-
bug severity:medium
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 2 日以内に返信
-
bot-found bug priority: P3
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
madenvel/KalinkaPlayer#179 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
ls1intum/edutelligence#1098 ·
メンテナーはふだん 1 日以内に返信