cube-js/cube

Variable Length Decimal Support to Handle Cube Store Parquet Data Type Issues

Open

#3.412 aberto em 10 de set. de 2021

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Rust (1.965 forks)batch import
cube storehelp wanted

Métricas do repositório

Stars
 (19.563 stars)
Métricas de merge de PR
 (Mesclagem média 5d 16h) (138 fundiu PRs em 30d)

Description

Describe the bug When leveraging a MySQL decimal field that is defined as DECIMAL(65,30), the pre-aggregated results cannot be stored within Cube Store.

To Reproduce Steps to reproduce the behavior:

  1. Create a MySQL table (likely any database will do as its a Parquet conversion issue) with DECIMAL(65,30).
  2. Insert extremely large values in this field.
  3. Perform an aggregate query using SUM
  4. Define as a pre-aggregate query
  5. Watch the CREATE TABLE process fail when using Cube Store as your pre-aggregate data store repository.

Expected behavior

  1. Ideal behavior - Cube Store can correctly map data types of this nature.
  2. Acceptable behavior - Variable length can be defined as part of your measurement definition for pre-aggregate consumption

Screenshots N/A

Version: Current

Additional context None

Guia do colaborador

Direção de pesquisa
Investigue a lógica de conversão Parquet do Cube Store no crate `cube store`, particularmente como os tipos Decimal são tratados. Examine o módulo `parquet` e as funções de mapeamento de tipos de dados. O problema menciona uma questão de conversão Parquet com DECIMAL(65,30) do MySQL. Há apenas um comentário, sem PRs vinculados. Considere adicionar suporte a decimal de comprimento variável ou mapear para um tipo Parquet apropriado. Revise issues relacionadas ou alterações de código no repositório para correções semelhantes no tratamento de Decimal.
Pilha de tecnologia
rust
Domain
backenddatabase
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
SQL
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50