SQL file tests with a tolerance pass when only one side is NaN
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 78/100
調査の方向性
まず CometTestBase.scala を読み、query tolerance=... を使う SQL ファイルテストで float と double の結果を比較する checkSparkAnswerWithTolerance を見つけてください。NaN の比較を更新し、両方の値が NaN の場合、または両方が許容誤差内の数値の場合にのみペアが一致するようにしてください。一方だけが NaN のケースと、両方が NaN で一致するケースを含む回帰テストで確認してください。
索引モデルが issue の本文から書いたものです。
説明
Describe the bug
checkSparkAnswerWithTolerance in CometTestBase.scala skips the comparison of a float or double pair whenever either side is NaN. It only compares values when !actual.isNaN && !expected.isNaN, so a NaN from Comet against a number from Spark, or the other way round, passes. A SQL file test with query tolerance=... uses this check, so it cannot catch a kernel that returns NaN where Spark does not.
Steps to reproduce
A query tolerance=1e-6 over ln(x) where Comet returns NaN on some rows and Spark returns a value passes. The plain query form of the same test fails with "Results do not match".
Expected behavior
The pair should match only when both sides are NaN, or both are numbers within the tolerance: if (actual.isNaN || expected.isNaN) assert(actual.isNaN && expected.isNaN).
Additional context
Found while reproducing the wrong ln results in #7671.
- 主要言語
- Scala
- スター
- 1.3k
- フォーク
- 418
- 平均マージ
- 3日 18時間
- マージ済み PR(30日)
- 155
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/datafusion-comet のほかの issue
-
area:expressions bug priority:high
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
apache/datafusion-comet#7583 ·
メンテナーはふだん 2 日以内に返信
-
bug priority:medium
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
apache/datafusion-comet#7559 · コメント 2 件 ·
メンテナーはふだん 2 日以内に返信
-
area:writer bug priority:low
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/datafusion-comet#7558 ·
メンテナーはふだん 2 日以内に返信
-
Comet Native Executors: run a query in Spark when Comet is turned off対応中かも @andygrove が 11 日前に担当しました。 オープンenhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/datafusion-comet#7557 ·
メンテナーはふだん 2 日以内に返信
-
area:writer enhancement requires-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
apache/datafusion-comet#7463 ·
メンテナーはふだん 2 日以内に返信
apache/datafusion-comet の issue をすべて見る
似ている issue
-
area:scripts priority:P2 status:backlog
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
KD5UJC-XYZ/scarab#1170 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1〜3時間 初心者へのやさしさ 91/100
rchillyard/TableParser#132 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
zio/zio-telemetry#1288 ·
メンテナーはふだん 1 日以内に返信
-
? - Needs Triage audit audit_4.3.0 audit_5.0.0
難易度 2/5 1〜3時間 初心者へのやさしさ 80/100
NVIDIA/cudf-spark#16965 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
valkey-io/valkey-glide#7745 ·
メンテナーはふだん 1 日以内に返信