[TensorRT 11.x][Blackwell SM120] Internal DDS compiler assertion when IPluginV3 scalar output controls dynamic ONNX Slice

Đang mở
#4,878 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 6 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
5/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp, shell
Lĩnh vực
ai-infra-agents

Hướng nghiên cứu

The failing assertion is in convertExplicitDDSPluginToImplicit.cpp at line 149, inside the TensorRT myelin optimizer, and the report reproduces it only with a proprietary IPluginV3 plugin (SparseConvolution) feeding two dynamic ONNX Slice ops. Reproducing needs a Blackwell SM120 GPU, TensorRT 11.x, and a substitute plugin that declares a scalar INT32 output without calling IExprBuilder::declareSizeTensor(). Done would mean understanding why the DDS output and size-tensor bookkeeping disagree, which is maintainer-level work on the closed-source optimizer.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Module:Engine Build

Description

We are experiencing what seems an architecture and version-dependent TensorRT engine compilation failure involving a custom IPluginV3 and downstream data-dependent ONNX Slice operations.

The compilation from onnx to engine is done with trtexec.

The behavior differs depending on the GPU architecture and TensorRT version:

  • TensorRT 10.14: Successfully builds the engine on Blackwell SM120.
  • TensorRT 11.1 and 11.4: Fail during engine compilation on Blackwell SM120.
  • TensorRT 11.1 and 11.4: Successfully build the same network on Ampere SM86 and Ada SM89 GPUs (only tested with 11.1).

The original model and custom plugin implementation are proprietary and cannot be shared.

Environment

GPU Compute capability TensorRT 10.14 TensorRT 11.1 TensorRT 11.4
NVIDIA RTX A3000 Laptop SM86 PASS PASS PASS
NVIDIA RTX 4090 SM89 PASS PASS NOT TESTED
NVIDIA RTX PRO 4000 Blackwell SFF SM120 PASS FAIL FAIL

Additional environment information:

  • ONNX opset: 17
  • Custom plugin interface: IPluginV3
  • Engine building: trtexec
  • Plugin loading: --staticPlugins
  • Optimization profile: dynamic input dimensions

Note that in 10.14 we were using implicit trtexec fp32 -> fp16 conversion

Exact Error

The engine build fails with the following internal assertion:

[E] Error[2]:
[convertExplicitDDSPluginToImplicit.cpp::
convertExplicitDDSPluginToImplicit::149]

Error Code 2: Internal Error

Assertion
nodeIdxToDDSOutputIndices.count(i) ==
nodeIdxToSizeTensors.contains(i)
failed.

In convertExplicitDDSPluginToImplicit at
/_src/optimizer/myelin/rewrite/
convertExplicitDDSPluginToImplicit.cpp:149

The error occurs during engine construction, not during inference.

Steps To Reproduce

The relevant graph section consists of a custom IPluginV3 (SparseConvolution) producing fixed-capacity tensors and a scalar indicating how many entries are valid.

The plugin exposes three outputs:

Output Data type Shape Description
0 FP16 [CAPACITY, CHANNELS] Feature data
1 INT32 [CAPACITY, 4] Associated indices
2 INT32 [] Runtime number of valid entries

The scalar is subsequently used to determine the output dimension of two ONNX Slice operations.

Conceptually, the operation is equivalent to:

valid_features = features[:valid_count]
valid_indices = indices[:valid_count]

The count is a runtime value produced by the custom plugin.
The plugin currently declares the count as an ordinary INT32 scalar output and does not explicitly call IExprBuilder::declareSizeTensor().

We would like to confirm whether this pattern is supported by TensorRT 11.x. or a regression on TensorRT 11. on Blackwell path

Ngôn ngữ chính
C++
Star
13.5k
Fork
2.4k
Merge trung bình
6 ngày 21 giờ
Pull request đã merge (30 ngày)
3

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/TensorRT

Tất cả issue của NVIDIA/TensorRT

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.