Myelin NVRTC compilation failure on Jetson Thor (SM110) building Fast-FoundationStereo - reproduces on TRT 10.14.1 and 11.2.1.2

オープン
#4,830 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 6 日以内に返信

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
25/100
issue の種類
バグ
明瞭さ
説明が足りない
活発さ
静か
技術スタック
cpp, python

調査の方向性

まず、trtexec または Python API を使って scripts/make_single_onnx.py の新しい ONNX エクスポートで失敗を再現し、その後、以前の動作するエクスポートと比較します。関連する issue #4715 を読み、レポートで言及されている make_plugin_onnx.py と C++ plugin のパスを調査します。確認済みの fix または workaround があり、期待される fp16 と plugin のデプロイ動作が文書化されていれば完了です。

索引モデルが issue の本文から書いたものです。

説明

Module:Embedded Module:Engine Build

Title: Myelin NVRTC compilation failure on Jetson Thor (SM110) building Fast-FoundationStereo — reproduces on TRT 10.14.1 and 11.2.1.2

Environment

  • Jetson Thor (SM110), JetPack 7 / L4T, unified memory 122 GB
  • TensorRT 10.14.1 (JetPack tarball trtexec) and 11.2.1.2 (pip tensorrt cu13 aarch64, python API)
  • Model: Fast-FoundationStereo, exported from the NGC checkpoint (nvidia/tao/fast-foundationstereo v1.2, model_best_bp2_serialize.pth) with the official scripts/make_single_onnx.py (NVlabs/Fast-FoundationStereo, opset 17), --height 288 --width 480 --valid_iters 4, exporter run in nvcr.io/nvidia/pytorch:25.06-py3-igpu

Failure (identical on both TRT versions, fp32 — no precision flags involved)

TRT 10.14.1:

Error[9]: Skipping tactic 0x0 due to exception [myelin_graph.h:1182] MyelinCheckException:
nvrtc_compile.cpp:1118: CHECK(success) failed. NVRTC Compilation failure
Error[10]: IBuilder::buildSerializedNetworkToStream: Error Code 10: Internal Error
(Could not find any implementation for node {ForeignNode[/Concat.../Unsqueeze_166]}.)

TRT 11.2.1.2:

MyelinCheckException: nvrtc_compile.cpp:1122: CHECK(success) failed. NVRTC Compilation failure
Error Code 10: Internal Error (Could not find any implementation for node {ForeignNode[/Concat.../Cast_118]}.)

Additional data points

  • An older single-ONNX export of the same model (576x960, iters_8, exported ~May 2026 with an older torch) builds and runs correctly in fp32 on the same machine/TRT 10.14.1 (1199 ms) — the failure is specific to graph patterns emitted by the newer exporter/torch.
  • fp16 builds of the older export segfault the TRT compiler on SM110 (10.13.3 and 10.14.1; July 2026 finding).
  • Full FoundationStereo-S (NGC dynamic ONNX) at 288x480 builds fp32 on 10.14.1 (1052 ms) — so small dims per se are fine.
  • Looks related to #4715 (sm_120: Myelin "no valid tactics" on Fast-FS post_runner at all precisions, fused 3D-ConvTranspose/Cast pattern).

Questions

  1. Is there a fix or workaround for the SM110 Myelin/NVRTC codegen failure (builder flags, tactic source restrictions, graph rewrites)?
  2. Is the repo's plugin path (make_plugin_onnx.py + cpp plugin) the intended deployment route on Thor today?
  3. Is fp16 expected to work for this model on SM110, given the exporter's own printed recipe suggests trtexec --fp16?

Full build logs and both ONNX files available on request.

主要言語
C++
スター
13.5k
フォーク
2.4k
平均マージ
6日 21時間
マージ済み PR(30日)
3

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

NVIDIA/TensorRT のほかの issue

NVIDIA/TensorRT の issue をすべて見る

似ている issue

C++ の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。