[Code scan] Scatter plot reports latency under the efficiency field

Đang mở
  • Có gì không ổn?
#441 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
68/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
python
Lĩnh vực
data-visualization, performance

Hướng nghiên cứu

Bắt đầu với generate_scatter_plot() trong lambench/metrics/vishelper/plot_generation.py và so sánh cách xử lý efficiency_raw của nó với phép tính xếp hạng trong metrics_calculations.py. Đọc định nghĩa efficiency trong lambench/metrics/results/README.md; hoàn tất khi đầu ra biểu đồ phân tán cùng các nhãn hoặc tài liệu của nó thể hiện nhất quán hướng hiệu quả hoặc độ trễ đã chọn.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

This issue was found by a Codex global repository scan of tracked non-test files at commit 8c93925cb10b401b2b83c738bd9263fd74474468.

Relevant code

https://github.com/deepmodeling/LAMBench/blob/8c93925cb10b401b2b83c738bd9263fd74474468/lambench/metrics/vishelper/plot_generation.py#L35-L49
https://github.com/deepmodeling/LAMBench/blob/8c93925cb10b401b2b83c738bd9263fd74474468/lambench/metrics/vishelper/metrics_calculations.py#L200-L216
https://github.com/deepmodeling/LAMBench/blob/8c93925cb10b401b2b83c738bd9263fd74474468/lambench/metrics/results/README.md#L109-L111

Impact

The ranking code defines efficiency as 100 / average_time, and the README describes the same inverse-latency score. generate_scatter_plot() stores efficiency_raw["average_time"] directly under the JSON field named efficiency.

This makes the scatter data use the opposite direction from the ranking score: larger values mean slower models in the scatter JSON but better models in the ranking metric.

Suggested fix

Either emit 100 / average_time for the scatter efficiency field, or rename the field to latency and update downstream visualization labels and docs accordingly.

Ngôn ngữ chính
Python
Star
21
Fork
11
Merge trung bình
23 ngày 6 giờ
Pull request đã merge (30 ngày)
1

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của deepmodeling/LAMBench

Tất cả issue của deepmodeling/LAMBench

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.