[BUG] pdlp_class.run_double_very_low_accuracy never converges on GH200 and hangs conda-cpp-tests
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 15/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- cpp
調査の方向性
The failing case is pdlp_class.run_double_very_low_accuracy in cpp/tests/linear_programming/pdlp_test.cu, which runs PDLP on afiro with PSLP presolve and 1e-12 absolute tolerances. Reproducing needs GH200 (arm64, Hopper) hardware, which a newcomer probably lacks, so start by reading the test and the PDLP iteration code it exercises. Done means the test has an explicit time limit so it fails fast, and the divergence on GH200 is either fixed or narrowed to a cause.
索引モデルが issue の本文から書いたものです。
説明
Summary
On the GH200 runner (arm64, CUDA 13.3, ubuntu26.04), pdlp_class.run_double_very_low_accuracy never converges. The PDLP iteration diverges from the very first checkpoint and runs until the 90 minute gtest limit kills the job, so conda-cpp-tests fails on that runner most nights.
Evidence
- It was the last test started in 7 of the last 8 nightly failures of that job (
conda-cpp-tests / 13.3.0, 3.14, arm64, ubuntu26.04, gh200), e.g. run 38520012990 job 115707369040. The 8th (10-09) stopped onpdlp_class.simple_batch_different_constraint_bounds, which I did not look at. - The test (
cpp/tests/linear_programming/pdlp_test.cu) solves afiro with PDLP only, all absolute tolerances atminimal_absolute_tolerance(1e-12), relative tolerances 0, and no time limit. - Same input on an x86 RTX PRO 6000 (CUDA 13.3): PSLP presolves to 14 rows and 18 columns, converges at iteration 1500 in 0.078 s. On the GH200 the PSLP-presolved problem is identical, but at iteration 1000 the primal and dual objective are −482.9 and −468.0 (gap 14.9) instead of −464.753143 for both, and the residuals then oscillate around 1e-6 to 1e-7 for 286 million iterations (about 4939 s at the point the log stops).
- On the RTX PRO 6000 and L4 jobs in the same run the test passes in 71 to 79 ms. The other GH200-free jobs in that run passed the whole suite.
I could not reproduce it on the hardware I have (amd64 Quadro RTX 8000), so the cause is open. It could be arm64, Hopper-with-Grace, or CUDA 13.3 specific.
Proposed
- Give the test a time limit so it fails fast instead of consuming the whole 90 minute budget and hiding every later test.
- Investigate the PDLP divergence on GH200: compare the first iterations against x86, check for uninitialized memory or a race, and try the earlier nightlies.
#2052 covers other arm64 conda-cpp-tests hangs; this one is deterministic and tied to this test.
- 主要言語
- Cuda
- スター
- 1.1k
- フォーク
- 249
- 平均マージ
- 1日 15時間
- マージ済み PR（30日）
- 126
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA/cuopt のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 32/100
メンテナーはふだん 1 日以内に返信
-
CI: nightly Cython build with bounds checking enabled対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 22/100
NVIDIA/cuopt#2255 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 半日 初心者へのやさしさ 50/100
メンテナーはふだん 1 日以内に返信
似ている issue
-
area:mlx difficulty:2 enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
MakazhanAlpamys/Soup#2490 ·
メンテナーはふだん 1 日以内に返信
-
[BUG] Segfault when all runs of a Complexity() benchmark are skipped対応中かも @nitanshnagpal が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
[factory:modern-web] Apply content-visibility: auto to Long Rendered Lists (content-visibility)オープン
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
PaulKinlan/audio-feed#25 ·
-
area:io bug needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
bherbruck/solvecraft#11947 ·
-
Code: Performance
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
CrimsonCrossBunker/Cataclysm-Cleanwater-Bomb#1167 ·
メンテナーはふだん 1 日以内に返信