Visitor and evaluator edge cases can over-prune files or mishandle nulls

Offen

#3,498 erstellt am 13.6.2026 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 48/100

Issue-Typ: Bug
Klarheit: Größtenteils klar
Aktivitätsstatus: Aktiv
Tech-Stack: python
Bereich: data, testing-qa

Rechercherichtung

Beginne mit _StrictMetricsEvaluator.visit_not_equal, visit_not_in und eval und untersuche anschließend die Vergleichsmethoden und visit_not_nan auf ResidualVisitor. Führe die bestehenden Tests für stats, nullable partitions und das Verhalten von NotNaN aus; als erledigt gilt dies, wenn die Randfälle eine konsistente Semantik ohne unsicheres Pruning oder Fehler bei der Nullbehandlung aufweisen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Several visitor/evaluator edge cases appear unsafe or inconsistent:

_StrictMetricsEvaluator.visit_not_equal / visit_not_in return ROWS_MUST_MATCH when a file can contain nulls or NaNs. Example stats with [null, 5] or [NaN, 5.0] and lower/upper bounds both 5 return true for NotEqualTo("x", 5) / NotIn("x", {5}), even though one row does not match. This can incorrectly mark whole files deleted.
_StrictMetricsEvaluator.eval returns ROWS_MUST_MATCH for record_count <= 0. record_count=0 is vacuously true, but record_count=-1 is unknown per the local comment; even AlwaysFalse() returns true.
ResidualVisitor comparison methods directly compare partition values to literals. A nullable identity partition value of None with LessThan("x", 1) raises TypeError, while row evaluation returns false.
ResidualVisitor.visit_not_nan(None) returns AlwaysFalse, while expression evaluation treats NotNaN(None) as true. Existing tests encode both behaviors, so the semantics are inconsistent.

Validated against the current tree; examples use stats/partition shapes already supported by the repo tests.

Vorherrschende Sprache: Python
Sterne: 1.1k
Forks: 589
Ø Merge: 1 T. 20 Std.
Gemergte PRs (30 T.): 68

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/iceberg-python

Move AES GCM fixtures to Iceberg-verification Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100

apache/iceberg-python#4010 · 1 Reaktion · Erstellt am 23.9.2026
Avro EnumReader.skip() does not advance the decoder Offen

kind:bug

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 92/100

apache/iceberg-python#4006 · Erstellt am 22.9.2026
to_bytes silently rescales a Decimal with a negative scale Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/iceberg-python#3996 · Erstellt am 18.9.2026
Deletion vector bitmap count is read from the blob and used as a loop bound without validation Offen

bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

apache/iceberg-python#3979 · Erstellt am 16.9.2026
FsspecFileIO: `_adls` mutates shared properties, so a second storage account gets the first account's filesystem Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/iceberg-python#3885 · Erstellt am 31.8.2026

Alle Issues in apache/iceberg-python