Writer: a nullable decimal column goes through vortex.masked; Rust keeps the validity on decimal_byte_parts' child or drops it

Offen
  • Stimmt etwas nicht?
#646 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
25/100
Issue-Typ
Bug
Klarheit
Größtenteils klar
Aktivitätsstatus
Aktiv
Tech-Stack
java, rust
Bereich
data

Rechercherichtung

Start with MaskedEncodingEncoder on the Java writer side, where a nullable decimal gets wrapped in vortex.masked even when all rows are valid, and compare it with Rust's DecimalScheme and split_decimal, which keep validity on the most-significant-part child. The test to run is DecimalBytePartsInteropIntegrationTest, widened to compare the full zoned stats tree. Done means the nullable decimal tree matches the Rust output, and the work should follow the validity-on-leaf approach from #604 and #635.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

perf

A nullable decimal column is encoded by MaskedEncodingEncoder, which wraps the values in vortex.masked(<values>, <validity>) even when every row is valid. Rust's DecimalScheme splits the decimal (split_decimal) keeping its validity on the most-significant-part child, and an all-valid validity writes no bitmap at all (Rust's AllValid).

Seen in the zoned layout's stats table of every decimal column (its min/max columns are nullable): for TPC-H-shaped decimal columns vortex-jni writes them as vortex.constant, vortex.decimal_byte_parts(vortex.primitive) or vortex.decimal, where vortex-java writes vortex.masked(vortex.decimal, vortex.constant):

-        vortex.decimal_byte_parts
-          vortex.primitive
+        vortex.masked
+          vortex.decimal
+          vortex.constant

(DecimalBytePartsInteropIntegrationTest with its comparison widened from the data column to the full tree.) The data column of a nullable decimal holding nulls takes the same path.

This is the decimal counterpart of what #604 did for integers (validity on the leaf, never a vortex.masked wrapper) and of the timestamp change in #635. Found while fixing #644, which covers the non-nullable value child only.

Vorherrschende Sprache
Java
Sterne
3
Forks
2
Ø Merge
9 Std. 51 Min.
Gemergte PRs (30 T.)
127

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus dfa1/vortex-java

Alle Issues in dfa1/vortex-java

Ähnliche Issues

Weitere Issues zu Java

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.