Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

test_gemv_path_matches_the_transcription fails on sm_120 (bf16 rounding tie exceeds the tolerance)

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#649 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@void-mckenzie đang làm issue này rồi.

Từ ngày 13/10/2026.

  • #668 của @void-mckenzie — đang mở

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
77/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, pytorch
Lĩnh vực
machine-learning, testing

Hướng nghiên cứu

Bắt đầu với tests/moe/test_dsfp4_reference_semantics.py và chạy pytest tests/moe/test_dsfp4_reference_semantics.py trên GPU sm_120 để tái hiện các lỗi tại [32] và [128]. Kiểm tra cách bài kiểm thử so sánh đầu ra của từng route và tổng của chúng; hoàn tất khi bài kiểm thử chạy qua trên sm_120 đồng thời tính đến trường hợp hòa khi làm tròn bf16 đã mô tả.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

tests/moe/test_dsfp4_reference_semantics.py::test_gemv_path_matches_the_transcription[32] and [128] fail on sm_120: 1 of 3072 elements mismatched, abs diff 0.5 at (1, 493), rel diff 0.111.

This looks like a tolerance problem rather than a kernel bug:

  • Both sides round each route's output to bf16 before summing.
  • With the seeded inputs, token 1 / route 2 / column 493 is -97.749992, about 1e-5 from the bf16 tie between -97.5 and -98.0.
  • The four routes (-438, +217, -97.5, +314) cancel to -4.5.

A different fp32 accumulation order flips the tie, and one bf16 ulp (0.5) exceeds the test's atol + rtol*|sum| (about 0.11).

Reproduce: pytest tests/moe/test_dsfp4_reference_semantics.py on an RTX 5080.

Expected: the test passes on sm_120. For example, allow one bf16 ulp of the largest per-route output, or compare per-route outputs before summing.

Environment: main 07813248 (source build), RTX 5080 16 GB (sm_120), driver 610.57.04, Ubuntu 24.04, Python 3.14, torch 2.11.0+cu130, triton 3.6.0; checkpoint nvidia/Qwen3.8-Flash-Next-NVFP4.

Ngôn ngữ chính
Python
Star
14.2k
Fork
1.4k
Merge trung bình
21 giờ 39 phút
Pull request đã merge (30 ngày)
100

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của FlashML-org/FreeToken

Tất cả issue của FlashML-org/FreeToken

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.