Inference engine startup included in GPU metric capture / 推理引擎启动阶段被纳入 GPU 指标采集

Đang mở
  • Có gì không ổn?
#1,507 2 bình luận 2 reaction 1 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@arygupt đang làm issue này rồi.

Từ ngày 22/5/2026.

Đánh giá

Issue này chưa được đánh giá.

Mô tả

Describe the bug
Current scripts in the benchmarks/single_node directory (e.g., https://github.com/SemiAnalysisAI/InferenceX/blob/adbaae52ddf2569ddf2e793f5ad0a56f2f2a4d13/benchmarks/single_node/qwen3.5_fp8_mi325x.sh) follow this pattern to establish GPU monitoring for every InferenceX benchmark run:

  1. start_gpu_monitor
  2. Start LLM inference engine as a background process (e.g. SGLang, vLLM)
  3. wait_for_server_ready
  4. Run benchmark for the model (key result to report for InferenceX benchmark)
  5. stop_gpu_monitor

As-is, the GPU energy consumption and other metrics can be skewed by irregularities in LLM inference engine startup (compilation, kernel autotuning, etc) and the 5-second sleeps used while waiting for the server to start (waiting on the /health route). While cross-referencing other logs can identify some timestamps that fall outside of the actual benchmark window, there is no direct correspondence within the CSV itself.

Expected behavior
Monitoring data should only correspond to the benchmark execution window. Alternatively, providing a way to identify which portion of the data corresponds to benchmark execution would also be acceptable.

Potential solutions
Adding a marker in the gpu_metrics.csv or delaying the start_gpu_monitor calls until the benchmark is ready to run (moving step 1 above to just before step 4) can assist in disambiguating the results.

Additional context
The startup costs of pinned versions of vLLM (likely similar for other engines) should be relatively consistent for a GitHub action runner, but the inference engine's startup performance can change over successive versions. The ability to separate startup costs from the benchmark data is important.

中文说明

当前基准测试脚本在推理引擎启动之前就开始 GPU 监控（start_gpu_monitor），导致 gpu_metrics.csv 中包含引擎启动阶段（编译、内核自动调优、等待 /health 路由的休眠等）的能耗和指标数据，这会影响基准测试指标的准确性。建议将 GPU 监控延迟到基准测试实际运行前启动，或在 CSV 中添加标记以区分启动阶段和基准测试执行窗口的数据。

Ngôn ngữ chính
Python
Star
2k
Fork
354
Merge trung bình
1 ngày 22 giờ
Pull request đã merge (30 ngày)
440

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của SemiAnalysisAI/InferenceX

Tất cả issue của SemiAnalysisAI/InferenceX

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.