[Code scan] Downstream aggregation drops domains instead of incomplete models
まだ誰も着手していません。
評価
調査の方向性
lambench/metrics/vishelper/metrics_calculations.py の152-164行目から始め、domain_results がどのように集約およびフィルタリングされるかを追跡します。issue に記載された回帰テストを、1つのドメインが欠落しているモデルを1つ使用して追加します。不完全なモデルが選択した文書化されたポリシーに従って処理され、そのドメインがグローバルに削除されなければ完了です。
索引モデルが issue の本文から書いたものです。
説明
This issue was found by a Codex global repository scan of tracked non-test files at commit 8c93925cb10b401b2b83c738bd9263fd74474468.
Relevant code
Impact
domain_results has models as rows and domains as columns, but dropna(axis=1) removes columns. If one model is missing a downstream domain, that domain is dropped for every model, and the incomplete model can still be ranked using the remaining domains.
This changes leaderboard scores by removing valid domains globally instead of excluding or penalizing the incomplete model.
Suggested fix
Make missing-domain policy explicit. For example, compute domain means with skipna=False and then dropna(axis=0) for incomplete models, or apply a documented penalty to missing domains. Add a regression test with one model missing a single domain.
- 主要言語
- Python
- スター
- 20
- フォーク
- 11
- 平均マージ
- 1分
- マージ済み PR（30日）
- 3
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
deepmodeling/LAMBench のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 86/100
deepmodeling/LAMBench#443 ·
-
[Code scan] Missing NVE systems crash stability scoring instead of receiving the failure penaltyオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
deepmodeling/LAMBench#440 ·
-
難易度 2/5 半日 初心者へのやさしさ 74/100
deepmodeling/LAMBench#439 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
deepmodeling/LAMBench#436 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
deepmodeling/LAMBench#435 ·
deepmodeling/LAMBench の issue をすべて見る
似ている issue
-
Project submission:オープン
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
slavakurilyak/awesome-ai-agents#845 ·
メンテナーはふだん 1 日以内に返信
-
tests: pin that the atomic writers in utils/paths.py stage the temporary file in the target's directory対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープンdifficulty:2 enhancement good first issue
難易度 1/5 1〜3時間 初心者へのやさしさ 92/100
MakazhanAlpamys/Soup#2178 ·
メンテナーはふだん 1 日以内に返信
-
[BUG] dcg.waggr permutation p-values are folded twice, so near-zero scores get the smallest p-valuesオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
scverse/rapids-singlecell#854 ·
メンテナーはふだん 1 日以内に返信
-
Slang input: int8_t4_packed and uint8_t4_packed are copied into CrossGL対応中かも @ninglinLiu が今日担当しました。 オープンarea:frontend backend:slang bug direction:input
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
random_elements(unique=True) on an OrderedDict: ZeroDivisionError once only zero weights remain, AssertionError with use_weighting=False対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
メンテナーはふだん 13 日以内に返信