cube-js/cube

Pre-aggregation queries are not GTID safe - MySQL

Open

#1.810 aberto em 19 de jan. de 2021

Ver no GitHub
 (5 comments) (0 reactions) (0 assignees)Rust (1.965 forks)batch import
driver:mysqlhelp wanted

Métricas do repositório

Stars
 (19.563 stars)
Métricas de merge de PR
 (Mesclagem média 5d 16h) (138 fundiu PRs em 30d)

Description

Describe the bug

Queries to create pre-agg tables use CREATE TABLE ... SELECT syntax. This syntax is not valid when running MySQL with GTID based replication. see here

GTID based replication also happens to be used by Google CloudSQL and is not configurable. This means that pre-aggregations cannot by used.

Note: This issue theoretically will also appear when using statement based replication.

To Reproduce Run a MySQL database using GTIDs for replication

Add a cube with a pre-aggregation. Will fail with an error like "Error: ER_GTID_UNSAFE_CREATE_SELECT: Statement violates GTID consistency: CREATE TABLE ... SELECT."

Expected behavior Pre-aggregation queries should be safe for statement based replication as well as replication with GTIDs.

Guia do colaborador

Direção de pesquisa
Investigue o código de geração SQL específico do MySQL no Cube.js para pré agregações. A implementação atual usa `CREATE TABLE ... SELECT`, que não é seguro para GTID. Uma possível correção é dividir em duas instruções: `CREATE TABLE ... LIKE` e `INSERT INTO ... SELECT`. Revise os arquivos nos diretórios `packages/cubejs query orchestrator` ou `packages/cubejs schema compiler` para o dialeto MySQL. Verifique os comentários da issue para quaisquer soluções propostas ou orientações dos mantenedores.
Pilha de tecnologia
rustsql
Domain
backenddatabase
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
SQLMySQLreplication
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30