SQL file tests with a tolerance pass when only one side is NaN

Offen Anfängerfreundlich
#7,672 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 2 Tagen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Anfängerfreundlichkeit
78/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
scala, spark
Bereich
testing

Rechercherichtung

Lies zuerst CometTestBase.scala und suche checkSparkAnswerWithTolerance, das Float- und Double-Ergebnisse für SQL-Dateitests mit query tolerance=... vergleicht. Aktualisiere den NaN-Vergleich so, dass Paare nur dann übereinstimmen, wenn beide Werte NaN sind oder wenn beide Zahlen innerhalb der Toleranz liegen. Überprüfe dies mit einem Regressionstestfall für einseitiges NaN und einem passenden Fall für zweiseitiges NaN.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

requires-triage
Describe the bug

checkSparkAnswerWithTolerance in CometTestBase.scala skips the comparison of a float or double pair whenever either side is NaN. It only compares values when !actual.isNaN && !expected.isNaN, so a NaN from Comet against a number from Spark, or the other way round, passes. A SQL file test with query tolerance=... uses this check, so it cannot catch a kernel that returns NaN where Spark does not.

Steps to reproduce

A query tolerance=1e-6 over ln(x) where Comet returns NaN on some rows and Spark returns a value passes. The plain query form of the same test fails with "Results do not match".

Expected behavior

The pair should match only when both sides are NaN, or both are numbers within the tolerance: if (actual.isNaN || expected.isNaN) assert(actual.isNaN && expected.isNaN).

Additional context

Found while reproducing the wrong ln results in #7671.

Vorherrschende Sprache
Scala
Sterne
1.3k
Forks
418
Ø Merge
3 T. 18 Std.
Gemergte PRs (30 T.)
155

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/datafusion-comet

Alle Issues in apache/datafusion-comet

Ähnliche Issues

Weitere Issues zu Scala

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.