[BUG] conda-cpp-tests on gb300: routing PDP test hits illegal memory access, set_shmem_of_kernel fails after it
メンテナーはふだん 1 日以内に返信
評価
- 難易度
- 4/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 48/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 領域
- backend, testing-qa
調査の方向性
Start with the failing cost_boundary_initialization.pdp_set_route_data_resets_cost_boundaries test and the set_shmem_of_kernel tests in the routing test binary; the report says the latter failures may be fallout from a sticky CUDA error. Check the nightly run and reproduce on gb300 if available, then trace the illegal memory access in the PDP test. Done when the PDP test passes and the shared memory tests no longer see error 700.
索引モデルが issue の本文から書いたものです。
説明
Describe the bug
In nightly run 40167716943 (2026-10-25, b5ad4d07), conda-cpp-tests / 13.3.0, 3.14, arm64, ubuntu26.04, gb300, latest-driver, latest-deps fails (job 121092087617). 3 routing tests fail, in every retry:
cost_boundary_initialization.pdp_set_route_data_resets_cost_boundaries: C++ exception fromcuda/__driver/driver_api.h:662,an illegal memory access was encounteredset_shmem_of_kernel.zero_request:cudaGetLastError()returns 700 (cudaErrorIllegalAddress), expectedcudaSuccess(set_shmem_of_kernel.cu:32)set_shmem_of_kernel.normal_request:set_shmem_of_kernel(kernel_normal, 4096)returns false (set_shmem_of_kernel.cu:38)
The two set_shmem_of_kernel failures look like fallout of the illegal access in the preceding PDP test: the sticky error 700 is still set when they run. Within the routing test binary, the other 57 tests pass.
- All 12 other
conda-cpp-testsjobs in the run passed. - The same commit passed on gb300 the next night (40277562656), so this is intermittent.
- This is not the failure set in #2176 (
pdlp_class,Population,ReducedMatrix). None of those tests failed in this run.
Expected behavior
cost_boundary_initialization.pdp_set_route_data_resets_cost_boundaries passes on gb300 as on the other GPUs.
Environment details
- Environment location: CI, gb300 arm64, CUDA 13.3.0, Python 3.14, ubuntu26.04, latest driver
- Method of cuOpt install: conda build from source (rattler-build)
Additional context
Related: #2176 (other gb300-only C++ test failures).
- 主要言語
- Cuda
- スター
- 1.1k
- フォーク
- 249
- 平均マージ
- 1日 15時間
- マージ済み PR（30日）
- 126
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA/cuopt のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 32/100
メンテナーはふだん 1 日以内に返信
-
CI: nightly Cython build with bounds checking enabled対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 22/100
NVIDIA/cuopt#2255 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 半日 初心者へのやさしさ 50/100
メンテナーはふだん 1 日以内に返信
似ている issue
-
DBFS append mode silently overwrites existing files対応中かも @IlyaKhalafi が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
fsspec/filesystem_spec#2429 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
volcengine/OpenViking#7014 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
fedora-copr/copr#4600 ·
メンテナーはふだん 2 日以内に返信
-
Routing rule or circuit breaker trip expression with an unknown CEL function hangs daprd対応中かも @RaphaelFakhri が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信