cube-js/cube

Variable Length Decimal Support to Handle Cube Store Parquet Data Type Issues

Open

#3.412 geöffnet am 10. Sept. 2021

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Rust (1.965 Forks)batch import
cube storehelp wanted

Repository-Metriken

Stars
 (19.563 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 16h) (138 gemergte PRs in 30 T)

Beschreibung

Describe the bug When leveraging a MySQL decimal field that is defined as DECIMAL(65,30), the pre-aggregated results cannot be stored within Cube Store.

To Reproduce Steps to reproduce the behavior:

  1. Create a MySQL table (likely any database will do as its a Parquet conversion issue) with DECIMAL(65,30).
  2. Insert extremely large values in this field.
  3. Perform an aggregate query using SUM
  4. Define as a pre-aggregate query
  5. Watch the CREATE TABLE process fail when using Cube Store as your pre-aggregate data store repository.

Expected behavior

  1. Ideal behavior - Cube Store can correctly map data types of this nature.
  2. Acceptable behavior - Variable length can be defined as part of your measurement definition for pre-aggregate consumption

Screenshots N/A

Version: Current

Additional context None

Contributor Guide

Research-Richtung
Untersuche die Parquet Konvertierungslogik von Cube Store im `cube store` Crate, insbesondere wie Decimal Typen behandelt werden. Sieh dir das `parquet` Modul und die Datentyp Mapping Funktionen an. Das Problem erwähnt ein Parquet Konvertierungsproblem mit DECIMAL(65,30) aus MySQL. Es gibt nur einen Kommentar, keine verknüpften PRs. Erwäge die Unterstützung für Dezimalzahlen variabler Länge oder das Mapping auf einen geeigneten Parquet Typ. Überprüfe verwandte Issues oder Codeänderungen im Repository für ähnliche Korrekturen bei der Decimal Behandlung.
Tech Stack
rust
Domain
backenddatabase
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Recherche nötig
Voraussetzungen
SQL
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50