test_gemv_path_matches_the_transcription fails on sm_120 (bf16 rounding tie exceeds the tolerance)
メンテナーはふだん 1 日以内に返信
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 77/100
- issue の種類
- バグ
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
調査の方向性
まず tests/moe/test_dsfp4_reference_semantics.py を確認し、sm_120 GPU で pytest tests/moe/test_dsfp4_reference_semantics.py を実行して [32] と [128] での失敗を再現します。テストが各ルートの出力とその合計をどのように比較するか確認します。説明されている bf16 の丸めの同値を考慮したうえで、sm_120 でテストが成功すれば完了です。
索引モデルが issue の本文から書いたものです。
説明
tests/moe/test_dsfp4_reference_semantics.py::test_gemv_path_matches_the_transcription[32] and [128] fail on sm_120: 1 of 3072 elements mismatched, abs diff 0.5 at (1, 493), rel diff 0.111.
This looks like a tolerance problem rather than a kernel bug:
- Both sides round each route's output to bf16 before summing.
- With the seeded inputs, token 1 / route 2 / column 493 is -97.749992, about 1e-5 from the bf16 tie between -97.5 and -98.0.
- The four routes (-438, +217, -97.5, +314) cancel to -4.5.
A different fp32 accumulation order flips the tie, and one bf16 ulp (0.5) exceeds the test's atol + rtol*|sum| (about 0.11).
Reproduce: pytest tests/moe/test_dsfp4_reference_semantics.py on an RTX 5080.
Expected: the test passes on sm_120. For example, allow one bf16 ulp of the largest per-route output, or compare per-route outputs before summing.
Environment: main 07813248 (source build), RTX 5080 16 GB (sm_120), driver 610.57.04, Ubuntu 24.04, Python 3.14, torch 2.11.0+cu130, triton 3.6.0; checkpoint nvidia/Qwen3.8-Flash-Next-NVFP4.
- 主要言語
- Python
- スター
- 14.2k
- フォーク
- 1.4k
- 平均マージ
- 21時間 17分
- マージ済み PR（30日）
- 97
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
FlashML-org/FreeToken のほかの issue
-
Desktop feature
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
FlashML-org/FreeToken#800 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
FlashML-org/FreeToken#767 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
FlashML-org/FreeToken#648 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
FlashML-org/FreeToken#646 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
FlashML-org/FreeToken#645 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
FlashML-org/FreeToken の issue をすべて見る
似ている issue
-
app: scripts status: backlog type: documentation
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
netbox-community/netbox-scripts#68 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 91/100
marin-community/marin#10765 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 70/100
flathub/com.unity.UnityHub#230 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
namespace operations
難易度 1/5 1時間未満 初心者へのやさしさ 63/100
EclipseFdn/open-vsx.org#14910 ·
メンテナーはふだん 1 日以内に返信