Bug: trtmc-aiperf-qual run exits 1 when Acc passes and Perf is measured

Đã đóng
  • Có gì không ổn?
#1,897 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@JiaxinD đang làm issue này rồi.

Từ ngày 29/10/2026.

  • #1900 của @JiaxinD — đang mở

Đánh giá

Độ khó
1/5
Thời gian dự kiến
Dưới một giờ
Mức phù hợp với người mới
20/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
cli

Hướng nghiên cứu

The payload identifies cli.py and campaign.run_one as the relevant entry points. Read how run_one determines the effective category and how the CLI maps the returned record to an exit status. Done means a run with Acc pass and Perf measured exits 0; an open pull request is already linked to this issue.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug
Affected area

Validation or benchmarking

TensorRT-Model-Connect version

06bd8db590eb226749a16b856887bbbae05206ef

Installation method

Development container

Model and revision

Not model-specific. Observed with mistralai/Mistral-7B-Instruct-v0.1 at ec5deb64f2c6e6fa90c1abf74a91d5c93a9669ca (FP16).

Environment

GPU: NVIDIA GB300 (SM 10.3) exited with status 1; a Jetson Thor X (SM 11.0) run printed the same record
CUDA: 13.0
TensorRT: 11.2 on GB300, 11.0 on Thor X
AIPerf: 0.13.0

Minimal reproducer
trtmc-aiperf-qual run --profile mistral-7b --environment <environment.yaml> --out out/mistral-7b
echo $?
Observed behavior

trtmc-aiperf-qual run exits with status 1 although the profile passes. The printed record and report.md say the Acc check passed and Perf was measured, with no errors:

"acc": "pass", "perf": "measured", "lights": {}, "category": "measured"

cli.py returns 0 only when record["category"] is pass or smoke-pass:

return 0 if record["category"] in ("pass", "smoke-pass") else 1

campaign.run_one already applies the rule "category measured with Acc pass and Perf measured is a pass", but only to a local category variable that decides bundle retention and temporary-file cleanup. The record that run_one returns, and that the CLI checks, keeps measured. As a result a clean run is reported as failed by any script or CI step that checks the exit status.

Expected behavior

run exits 0 when the profile passes by the rule campaign.run_one itself applies (Acc pass and Perf measured). The record returned by run_one should carry the same category that retention used, or the CLI should apply the same rule.

Relevant logs
{"report": ".../report.md", "profile": "mistral-7b", "task": "text_generation", "acc": "pass", "perf": "measured", "lights": {}, "category": "measured", ...}
exit status: 1
Submission checks
  • I searched open and closed issues and found no duplicate.
  • This is not a security vulnerability.
  • I removed secrets, credentials, private URLs, and restricted artifacts.
Ngôn ngữ chính
Python
Star
283
Fork
75
Merge trung bình
1 ngày 23 giờ
Pull request đã merge (30 ngày)
227

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/TensorRT-Model-Connect

Tất cả issue của NVIDIA/TensorRT-Model-Connect

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.