Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[BUG] CAGRA hang on h100 oldest-deps CI (cuvs test_cagra, then cuvs_bench test_run_command_creates_results)

Đang mở
  • Có gì không ổn?
#2,772 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

@bdice đang làm issue này rồi.

Từ ngày 11/10/2026.

  • #2829 của @bdice — đang mở

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
42/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
machine-learning, testing-qa

Hướng nghiên cứu

Start with tests/test_cagra.py, especially the suspected test_cagra_dataset_dtype_host_device area, and tests/test_cli.py::test_run_command_creates_results; inspect the failing CI logs and the ci/test_python.sh timeout setup. Reproduce on the specified H100, CUDA 12.2, oldest-deps matrix and capture where each process hangs. Done means the intermittent hangs are explained and addressed, with both test suites passing reliably; the separate symbol-lookup failure is out of scope.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

tests/test_cli.py::test_run_command_creates_results in cuvs_bench failed in 4 pr.yaml runs since 2026-10-06, all on the 12.2.2, 3.11, amd64, rockylinux8, h100, earliest-driver, oldest-deps matrix entry. test_plot_command_creates_png_files fails in the same jobs because it reads the results the run test did not produce.

The Aborted! message is not a crash. It is click's response to SIGINT: ci/test_python.sh runs pytest under timeout 40m --signal=SIGINT, and the benchmark was hung until timeout fired.

In all 4 jobs:

  1. The pytest cuvs step hits its 40 minute timeout and is SIGKILLed. It stalls inside tests/test_cagra.py at the same point (after roughly 52 tests, likely in test_cagra_dataset_dtype_host_device).
  2. The pytest cuvs-bench step then starts, and CUVS_CAGRA_HNSWLIB_ANN_BENCH hangs about 3 seconds in, right after "We have sufficient memory to proceed with in memory build", until its own 40 minute timeout.

A passing run of the same job finishes the cuvs suite in 11 minutes and the bench suite in 72 seconds, with the same driver (580.178.04), CUDA 12.2 and rmm version, so the hang is intermittent. Two of the failing commits already contain #2729. The root cause is not yet identified; the logs do not show where the process is stuck.

Failing jobs:

PR Job
#2649 https://github.com/NVIDIA/cuvs/actions/runs/37562048604/job/113140366555
#2649 https://github.com/NVIDIA/cuvs/actions/runs/37526496924/job/112498097520
#2753 https://github.com/NVIDIA/cuvs/actions/runs/37513765252/job/112456033858
#2429 https://github.com/NVIDIA/cuvs/actions/runs/37426744344/job/112159622042

A fifth job, https://github.com/NVIDIA/cuvs/actions/runs/34719781952/job/104185737619 (PR #2600, CUDA 13.3.0, rtxpro6000), failed the same two tests in 5.8 seconds with symbol lookup error on the bench binaries. That is a separate build/ABI problem, not this hang.

Method: failed pr.yaml runs created on or after 2026-09-08 (230 of 555), then failed python-tests jobs, then FAILED lines in their logs. The count may be incomplete if some job listings could not be fetched.

Ngôn ngữ chính
Cuda
Star
873
Fork
247
Merge trung bình
3 ngày 16 giờ
Pull request đã merge (30 ngày)
73

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/cuvs

Tất cả issue của NVIDIA/cuvs

Issue tương tự

Thêm issue về Machine Learning

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.