SQL file tests with a tolerance pass when only one side is NaN
Maintainer antworten meist innerhalb von 2 Tagen
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Anfängerfreundlichkeit
- 78/100
Rechercherichtung
Lies zuerst CometTestBase.scala und suche checkSparkAnswerWithTolerance, das Float- und Double-Ergebnisse für SQL-Dateitests mit query tolerance=... vergleicht. Aktualisiere den NaN-Vergleich so, dass Paare nur dann übereinstimmen, wenn beide Werte NaN sind oder wenn beide Zahlen innerhalb der Toleranz liegen. Überprüfe dies mit einem Regressionstestfall für einseitiges NaN und einem passenden Fall für zweiseitiges NaN.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Describe the bug
checkSparkAnswerWithTolerance in CometTestBase.scala skips the comparison of a float or double pair whenever either side is NaN. It only compares values when !actual.isNaN && !expected.isNaN, so a NaN from Comet against a number from Spark, or the other way round, passes. A SQL file test with query tolerance=... uses this check, so it cannot catch a kernel that returns NaN where Spark does not.
Steps to reproduce
A query tolerance=1e-6 over ln(x) where Comet returns NaN on some rows and Spark returns a value passes. The plain query form of the same test fails with "Results do not match".
Expected behavior
The pair should match only when both sides are NaN, or both are numbers within the tolerance: if (actual.isNaN || expected.isNaN) assert(actual.isNaN && expected.isNaN).
Additional context
Found while reproducing the wrong ln results in #7671.
- Vorherrschende Sprache
- Scala
- Sterne
- 1.3k
- Forks
- 418
- Ø Merge
- 3 T. 18 Std.
- Gemergte PRs (30 T.)
- 155
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus apache/datafusion-comet
-
area:expressions bug priority:high
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
apache/datafusion-comet#7583 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
bug priority:medium
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 73/100
apache/datafusion-comet#7559 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 2 Tagen
-
area:writer bug priority:low
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
apache/datafusion-comet#7558 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Comet Native Executors: run a query in Spark when Comet is turned offEvtl. vergeben @andygrove hat das vor 11 Tagen übernommen. Offenenhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
apache/datafusion-comet#7557 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
area:writer enhancement requires-triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
apache/datafusion-comet#7463 ·
Maintainer antworten meist innerhalb von 2 Tagen
Alle Issues in apache/datafusion-comet
Ähnliche Issues
-
area:scripts priority:P2 status:backlog
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
KD5UJC-XYZ/scarab#1170 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 91/100
rchillyard/TableParser#132 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
zio/zio-telemetry#1288 ·
Maintainer antworten meist innerhalb von 1 Tag
-
? - Needs Triage audit audit_4.3.0 audit_5.0.0
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 80/100
NVIDIA/cudf-spark#16965 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
valkey-io/valkey-glide#7745 ·
Maintainer antworten meist innerhalb von 1 Tag