Myelin NVRTC compilation failure on Jetson Thor (SM110) building Fast-FoundationStereo - reproduces on TRT 10.14.1 and 11.2.1.2

Aperta
#4,830 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 6 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Tranquilla
Stack tecnologico
cpp, python

Direzione di ricerca

Inizia riproducendo il malfunzionamento con l’esportazione ONNX più recente di scripts/make_single_onnx.py usando trtexec o la Python API, quindi confrontala con l’esportazione precedente funzionante. Leggi l’issue correlata #4715 e analizza make_plugin_onnx.py e il percorso del plugin C++ menzionato nel report. Il lavoro è completato quando è disponibile un fix o workaround confermato e sono documentati il comportamento previsto del deployment fp16 e del plugin.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Module:Embedded Module:Engine Build

Title: Myelin NVRTC compilation failure on Jetson Thor (SM110) building Fast-FoundationStereo — reproduces on TRT 10.14.1 and 11.2.1.2

Environment

  • Jetson Thor (SM110), JetPack 7 / L4T, unified memory 122 GB
  • TensorRT 10.14.1 (JetPack tarball trtexec) and 11.2.1.2 (pip tensorrt cu13 aarch64, python API)
  • Model: Fast-FoundationStereo, exported from the NGC checkpoint (nvidia/tao/fast-foundationstereo v1.2, model_best_bp2_serialize.pth) with the official scripts/make_single_onnx.py (NVlabs/Fast-FoundationStereo, opset 17), --height 288 --width 480 --valid_iters 4, exporter run in nvcr.io/nvidia/pytorch:25.06-py3-igpu

Failure (identical on both TRT versions, fp32 — no precision flags involved)

TRT 10.14.1:

Error[9]: Skipping tactic 0x0 due to exception [myelin_graph.h:1182] MyelinCheckException:
nvrtc_compile.cpp:1118: CHECK(success) failed. NVRTC Compilation failure
Error[10]: IBuilder::buildSerializedNetworkToStream: Error Code 10: Internal Error
(Could not find any implementation for node {ForeignNode[/Concat.../Unsqueeze_166]}.)

TRT 11.2.1.2:

MyelinCheckException: nvrtc_compile.cpp:1122: CHECK(success) failed. NVRTC Compilation failure
Error Code 10: Internal Error (Could not find any implementation for node {ForeignNode[/Concat.../Cast_118]}.)

Additional data points

  • An older single-ONNX export of the same model (576x960, iters_8, exported ~May 2026 with an older torch) builds and runs correctly in fp32 on the same machine/TRT 10.14.1 (1199 ms) — the failure is specific to graph patterns emitted by the newer exporter/torch.
  • fp16 builds of the older export segfault the TRT compiler on SM110 (10.13.3 and 10.14.1; July 2026 finding).
  • Full FoundationStereo-S (NGC dynamic ONNX) at 288x480 builds fp32 on 10.14.1 (1052 ms) — so small dims per se are fine.
  • Looks related to #4715 (sm_120: Myelin "no valid tactics" on Fast-FS post_runner at all precisions, fused 3D-ConvTranspose/Cast pattern).

Questions

  1. Is there a fix or workaround for the SM110 Myelin/NVRTC codegen failure (builder flags, tactic source restrictions, graph rewrites)?
  2. Is the repo's plugin path (make_plugin_onnx.py + cpp plugin) the intended deployment route on Thor today?
  3. Is fp16 expected to work for this model on SM110, given the exporter's own printed recipe suggests trtexec --fp16?

Full build logs and both ONNX files available on request.

Lingua principale
C++
Stelle
13.5k
Fork
2.4k
Merge medio
6g 21h
PR unite (30g)
3

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di NVIDIA/TensorRT

Tutte le issue di NVIDIA/TensorRT

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.