[Code scan] Scatter plot reports latency under the efficiency field
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 68/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- python
調査の方向性
lambench/metrics/vishelper/plot_generation.py の generate_scatter_plot() から始め、efficiency_raw の扱いを metrics_calculations.py のランキング計算と比較します。lambench/metrics/results/README.md にある efficiency の定義を読みます。散布図の出力とそのラベルまたはドキュメントが、選択した効率またはレイテンシの方向を一貫して表していれば完了です。
索引モデルが issue の本文から書いたものです。
説明
This issue was found by a Codex global repository scan of tracked non-test files at commit 8c93925cb10b401b2b83c738bd9263fd74474468.
Relevant code
https://github.com/deepmodeling/LAMBench/blob/8c93925cb10b401b2b83c738bd9263fd74474468/lambench/metrics/vishelper/plot_generation.py#L35-L49
https://github.com/deepmodeling/LAMBench/blob/8c93925cb10b401b2b83c738bd9263fd74474468/lambench/metrics/vishelper/metrics_calculations.py#L200-L216
https://github.com/deepmodeling/LAMBench/blob/8c93925cb10b401b2b83c738bd9263fd74474468/lambench/metrics/results/README.md#L109-L111
Impact
The ranking code defines efficiency as 100 / average_time, and the README describes the same inverse-latency score. generate_scatter_plot() stores efficiency_raw["average_time"] directly under the JSON field named efficiency.
This makes the scatter data use the opposite direction from the ranking score: larger values mean slower models in the scatter JSON but better models in the ranking metric.
Suggested fix
Either emit 100 / average_time for the scatter efficiency field, or rename the field to latency and update downstream visualization labels and docs accordingly.
- 主要言語
- Python
- スター
- 20
- フォーク
- 11
- 平均マージ
- 1分
- マージ済み PR（30日）
- 3
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
deepmodeling/LAMBench のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 86/100
deepmodeling/LAMBench#443 ·
-
[Code scan] Missing NVE systems crash stability scoring instead of receiving the failure penaltyオープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
deepmodeling/LAMBench#440 ·
-
難易度 2/5 半日 初心者へのやさしさ 74/100
deepmodeling/LAMBench#439 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
deepmodeling/LAMBench#438 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
deepmodeling/LAMBench#436 ·
deepmodeling/LAMBench の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
メンテナーはふだん 1 日以内に返信
-
enhancement good first issue Stellar Wave trivial
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
StellarCanary/ProtocolCanary-Fixtures#258 ·
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
IBM/ai-atlas-nexus#295 ·
メンテナーはふだん 6 日以内に返信
-
github_actions
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
Hochfrequenz/aibap.mcp#578 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
mishraprafful/multihull#150 ·
メンテナーはふだん 1 日以内に返信