Bug: trtmc-aiperf-qual run exits 1 when Acc passes and Perf is measured
メンテナーはふだん 1 日以内に返信
評価
調査の方向性
The payload identifies cli.py and campaign.run_one as the relevant entry points. Read how run_one determines the effective category and how the CLI maps the returned record to an exit status. Done means a run with Acc pass and Perf measured exits 0; an open pull request is already linked to this issue.
索引モデルが issue の本文から書いたものです。
説明
Affected area
Validation or benchmarking
TensorRT-Model-Connect version
06bd8db590eb226749a16b856887bbbae05206ef
Installation method
Development container
Model and revision
Not model-specific. Observed with mistralai/Mistral-7B-Instruct-v0.1 at ec5deb64f2c6e6fa90c1abf74a91d5c93a9669ca (FP16).
Environment
GPU: NVIDIA GB300 (SM 10.3) exited with status 1; a Jetson Thor X (SM 11.0) run printed the same record
CUDA: 13.0
TensorRT: 11.2 on GB300, 11.0 on Thor X
AIPerf: 0.13.0
Minimal reproducer
trtmc-aiperf-qual run --profile mistral-7b --environment <environment.yaml> --out out/mistral-7b
echo $?
Observed behavior
trtmc-aiperf-qual run exits with status 1 although the profile passes. The printed record and report.md say the Acc check passed and Perf was measured, with no errors:
"acc": "pass", "perf": "measured", "lights": {}, "category": "measured"
cli.py returns 0 only when record["category"] is pass or smoke-pass:
return 0 if record["category"] in ("pass", "smoke-pass") else 1
campaign.run_one already applies the rule "category measured with Acc pass and Perf measured is a pass", but only to a local category variable that decides bundle retention and temporary-file cleanup. The record that run_one returns, and that the CLI checks, keeps measured. As a result a clean run is reported as failed by any script or CI step that checks the exit status.
Expected behavior
run exits 0 when the profile passes by the rule campaign.run_one itself applies (Acc pass and Perf measured). The record returned by run_one should carry the same category that retention used, or the CLI should apply the same rule.
Relevant logs
{"report": ".../report.md", "profile": "mistral-7b", "task": "text_generation", "acc": "pass", "perf": "measured", "lights": {}, "category": "measured", ...}
exit status: 1
Submission checks
- I searched open and closed issues and found no duplicate.
- This is not a security vulnerability.
- I removed secrets, credentials, private URLs, and restricted artifacts.
- 主要言語
- Python
- スター
- 283
- フォーク
- 75
- 平均マージ
- 1日 23時間
- マージ済み PR（30日）
- 227
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA/TensorRT-Model-Connect のほかの issue
-
Docs: ITrtModule::forward() output-buffer lifetime and dtype contract are undocumented再び着手できるかも このイシューのプルリクエストはマージされずにクローズされました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
NVIDIA/TensorRT-Model-Connect#1126 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
NVIDIA/TensorRT-Model-Connect#1929 ·
メンテナーはふだん 1 日以内に返信
-
question
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
NVIDIA/TensorRT-Model-Connect#1928 ·
メンテナーはふだん 1 日以内に返信
-
AI bug
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
NVIDIA/TensorRT-Model-Connect#1922 ·
メンテナーはふだん 1 日以内に返信
-
AI bug
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
NVIDIA/TensorRT-Model-Connect#1920 ·
メンテナーはふだん 1 日以内に返信
NVIDIA/TensorRT-Model-Connect の issue をすべて見る
似ている issue
-
_chunk_scan_fwd launches its Triton kernel without a device guard: NaN when a model is split across GPUs対応中かも @toddwbucy が今日担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
state-spaces/mamba#1072 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
loopj/aiovantage#414 ·
メンテナーはふだん 1 日以内に返信
-
power_mismatch_deline docstring: the rear-to-total RMAD conversion has an extra bifaciality factorオープン
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
pvlib/pvlib-python#2929 ·
メンテナーはふだん 1 日以内に返信
-
data good first issue launch-day unverified
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
BradGroux/wow-forever-mission-control#8 ·
メンテナーはふだん 1 日以内に返信
-
check bilibili falsely reports read/subtitle as broken: live_test fixture BV1GJ411x7h7 is gone (404)オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
Panniantong/Agent-Reach#889 ·
メンテナーはふだん 2 日以内に返信