[Bug] [Relax][ONNX] NonMaxSuppression silently replaces a runtime output limit with zero

オープン
  • 何か問題がありますか？
#20,898 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
3/5
見積もり時間
1〜2日
初心者へのやさしさ
67/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
python
領域
machine-learning

調査の方向性

Start in python/tvm/relax/frontend/onnx/onnx_frontend.py at the converter lines linked in the report, and trace how a runtime max_output_boxes_per_class Var is handled when it is absent from the initializer table. Compare the dynamic-input and initializer cases using the reproduction with scalar inputs and an explicit IoU threshold. Done means the runtime limit selects the same two rows as the constant limit, with relevant tests passing.

索引モデルが issue の本文から書いたものです。

説明

needs-triage type: bug
Expected behavior

A runtime max_output_boxes_per_class=2 should select the same two disjoint boxes as an initializer containing the identical value.

Actual behavior

The constant-limit control matches ORT. Making only the limit a graph input silently changes the result from two rows to no selections:

constant limit (2, 3) [[0, 0, 0], [0, 0, 1]]
runtime limit (0, 3) []

The converter substitutes zero when a limit Var is absent from the initializer table. This case uses zero-dimensional scalars and an explicit IoU threshold, unlike #19693 and #20506.

Environment

TVM 0.28.dev0, LLVM 18.1.3, Linux x86_64; Python 3.12.3, NumPy 2.5.4, ONNX 1.22.0, ORT 1.29.0. The installed binary build revision is unknown; current main was inspected statically, not rebuilt.

Steps to reproduce

Run with an LLVM-enabled TVM installation:

import numpy as np
import onnx
import onnxruntime as ort
import tvm
from onnx import TensorProto as T, helper as h, numpy_helper as nh
from tvm import relax
from tvm.relax.frontend.onnx import from_onnx

boxes = np.array([[[0, 0, 1, 1], [2, 2, 3, 3]]], dtype="float32")
scores = np.array([[[0.9, 0.8]]], dtype="float32")
limit = np.array(2, dtype="int64")
expected = np.array([[0, 0, 0], [0, 0, 1]], dtype="int64")
for dynamic in (False, True):
    inputs = [h.make_tensor_value_info("boxes", T.FLOAT, [1, 2, 4]),
              h.make_tensor_value_info("scores", T.FLOAT, [1, 1, 2])]
    constants = [nh.from_array(np.array(0.5, dtype="float32"), "iou")]
    feeds = {"boxes": boxes, "scores": scores}
    if dynamic:
        inputs.append(h.make_tensor_value_info("limit", T.INT64, []))
        feeds["limit"] = limit
    else:
        constants.append(nh.from_array(limit, "limit"))
    model = h.make_model(h.make_graph([
        h.make_node("NonMaxSuppression", ["boxes", "scores", "limit", "iou"], ["y"])],
        "nms", inputs, [h.make_tensor_value_info("y", T.INT64, [None, 3])], constants),
        opset_imports=[h.make_opsetid("", 11)], ir_version=10)
    onnx.checker.check_model(model, full_check=True)
    options = ort.SessionOptions()
    options.intra_op_num_threads = options.inter_op_num_threads = 1
    options.graph_optimization_level = ort.GraphOptimizationLevel.ORT_DISABLE_ALL
    source = ort.InferenceSession(model.SerializeToString(), options,
        providers=["CPUExecutionProvider"]).run(None, feeds)[0]
    np.testing.assert_array_equal(source, expected)
    mod = from_onnx(model, keep_params_in_input=False)
    vm = relax.VirtualMachine(relax.build(mod, target="llvm"), tvm.cpu())
    actual = vm["main"](*[tvm.runtime.tensor(v) for v in feeds.values()]).numpy()
    print("runtime limit" if dynamic else "constant limit", actual.shape, actual.tolist())
    if not dynamic:
        np.testing.assert_array_equal(actual, expected)
Triage
  • needs-triage
主要言語
Python
スター
13.9k
フォーク
4k
平均マージ
7時間 59分
マージ済み PR（30日）
159

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

apache/tvm のほかの issue

apache/tvm の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。