cube-js/cube

Variable Length Decimal Support to Handle Cube Store Parquet Data Type Issues

Open

#3412 aperta il 10 set 2021

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Rust (1965 fork)batch import
cube storehelp wanted

Metriche repository

Star
 (19.563 star)
Metriche merge PR
 (Merge medio 5g 16h) (138 PR mergiate in 30 g)

Descrizione

Describe the bug When leveraging a MySQL decimal field that is defined as DECIMAL(65,30), the pre-aggregated results cannot be stored within Cube Store.

To Reproduce Steps to reproduce the behavior:

  1. Create a MySQL table (likely any database will do as its a Parquet conversion issue) with DECIMAL(65,30).
  2. Insert extremely large values in this field.
  3. Perform an aggregate query using SUM
  4. Define as a pre-aggregate query
  5. Watch the CREATE TABLE process fail when using Cube Store as your pre-aggregate data store repository.

Expected behavior

  1. Ideal behavior - Cube Store can correctly map data types of this nature.
  2. Acceptable behavior - Variable length can be defined as part of your measurement definition for pre-aggregate consumption

Screenshots N/A

Version: Current

Additional context None

Guida contributor

Direzione di ricerca
Analizza la logica di conversione Parquet di Cube Store nel crate `cube store`, in particolare come vengono gestiti i tipi Decimal. Esamina il modulo `parquet` e le funzioni di mappatura dei tipi di dati. Il problema menziona un problema di conversione Parquet con DECIMAL(65,30) da MySQL. C'è solo un commento, nessuna PR collegata. Considera l'aggiunta del supporto per decimal a lunghezza variabile o la mappatura a un tipo Parquet appropriato. Rivedi issue correlate o modifiche al codice nel repository per correzioni simili nella gestione dei Decimal.
Tech stack
rust
Dominio
backenddatabase
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
SQL
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50