[BUG] conda-cpp-tests on gb300: routing PDP test hits illegal memory access, set_shmem_of_kernel fails after it

Đang mở
  • Có gì không ổn?
#2,212 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@0z5a đang làm issue này rồi.

Từ ngày 3/11/2026.

  • #2260 của @0z5a — đang mở

Đánh giá

Độ khó
4/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
48/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Lĩnh vực
backend, testing-qa

Hướng nghiên cứu

Start with the failing cost_boundary_initialization.pdp_set_route_data_resets_cost_boundaries test and the set_shmem_of_kernel tests in the routing test binary; the report says the latter failures may be fallout from a sticky CUDA error. Check the nightly run and reproduce on gb300 if available, then trace the illegal memory access in the PDP test. Done when the PDP test passes and the shared memory tests no longer see error 700.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug

Describe the bug
In nightly run 40167716943 (2026-10-25, b5ad4d07), conda-cpp-tests / 13.3.0, 3.14, arm64, ubuntu26.04, gb300, latest-driver, latest-deps fails (job 121092087617). 3 routing tests fail, in every retry:

  • cost_boundary_initialization.pdp_set_route_data_resets_cost_boundaries: C++ exception from cuda/__driver/driver_api.h:662, an illegal memory access was encountered
  • set_shmem_of_kernel.zero_request: cudaGetLastError() returns 700 (cudaErrorIllegalAddress), expected cudaSuccess (set_shmem_of_kernel.cu:32)
  • set_shmem_of_kernel.normal_request: set_shmem_of_kernel(kernel_normal, 4096) returns false (set_shmem_of_kernel.cu:38)

The two set_shmem_of_kernel failures look like fallout of the illegal access in the preceding PDP test: the sticky error 700 is still set when they run. Within the routing test binary, the other 57 tests pass.

  • All 12 other conda-cpp-tests jobs in the run passed.
  • The same commit passed on gb300 the next night (40277562656), so this is intermittent.
  • This is not the failure set in #2176 (pdlp_class, Population, ReducedMatrix). None of those tests failed in this run.

Expected behavior
cost_boundary_initialization.pdp_set_route_data_resets_cost_boundaries passes on gb300 as on the other GPUs.

Environment details

  • Environment location: CI, gb300 arm64, CUDA 13.3.0, Python 3.14, ubuntu26.04, latest driver
  • Method of cuOpt install: conda build from source (rattler-build)

Additional context
Related: #2176 (other gb300-only C++ test failures).

Ngôn ngữ chính
Cuda
Star
1.1k
Fork
249
Merge trung bình
1 ngày 15 giờ
Pull request đã merge (30 ngày)
124

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/cuopt

Tất cả issue của NVIDIA/cuopt

Issue tương tự

Thêm issue về Backend & API Design

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.