SQL file tests with a tolerance pass when only one side is NaN

Đang mở Phù hợp với người mới
#7,672 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
78/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
scala, spark
Lĩnh vực
testing

Hướng nghiên cứu

Bắt đầu bằng cách đọc CometTestBase.scala và tìm checkSparkAnswerWithTolerance, hàm so sánh kết quả float và double cho các bài kiểm thử tệp SQL sử dụng query tolerance=.... Cập nhật phép so sánh NaN để các cặp chỉ khớp khi cả hai giá trị đều là NaN, hoặc khi cả hai đều là số nằm trong dung sai. Xác minh bằng một trường hợp hồi quy bao gồm NaN ở một phía và một trường hợp tương ứng có NaN ở cả hai phía.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

requires-triage
Describe the bug

checkSparkAnswerWithTolerance in CometTestBase.scala skips the comparison of a float or double pair whenever either side is NaN. It only compares values when !actual.isNaN && !expected.isNaN, so a NaN from Comet against a number from Spark, or the other way round, passes. A SQL file test with query tolerance=... uses this check, so it cannot catch a kernel that returns NaN where Spark does not.

Steps to reproduce

A query tolerance=1e-6 over ln(x) where Comet returns NaN on some rows and Spark returns a value passes. The plain query form of the same test fails with "Results do not match".

Expected behavior

The pair should match only when both sides are NaN, or both are numbers within the tolerance: if (actual.isNaN || expected.isNaN) assert(actual.isNaN && expected.isNaN).

Additional context

Found while reproducing the wrong ln results in #7671.

Ngôn ngữ chính
Scala
Star
1.3k
Fork
418
Merge trung bình
3 ngày 18 giờ
Pull request đã merge (30 ngày)
155

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/datafusion-comet

Tất cả issue của apache/datafusion-comet

Issue tương tự

Thêm issue về Scala

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.