cube-js/cube

Pre-aggregation queries are not GTID safe - MySQL

Open

#1.810 geöffnet am 19. Jan. 2021

Auf GitHub ansehen
 (5 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Rust (1.965 Forks)batch import
driver:mysqlhelp wanted

Repository-Metriken

Stars
 (19.563 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 16h) (138 gemergte PRs in 30 T)

Beschreibung

Describe the bug

Queries to create pre-agg tables use CREATE TABLE ... SELECT syntax. This syntax is not valid when running MySQL with GTID based replication. see here

GTID based replication also happens to be used by Google CloudSQL and is not configurable. This means that pre-aggregations cannot by used.

Note: This issue theoretically will also appear when using statement based replication.

To Reproduce Run a MySQL database using GTIDs for replication

Add a cube with a pre-aggregation. Will fail with an error like "Error: ER_GTID_UNSAFE_CREATE_SELECT: Statement violates GTID consistency: CREATE TABLE ... SELECT."

Expected behavior Pre-aggregation queries should be safe for statement based replication as well as replication with GTIDs.

Contributor Guide

Research-Richtung
Untersuchen Sie den MySQL spezifischen SQL Generierungscode in Cube.js für Pre Aggregations. Die aktuelle Implementierung verwendet `CREATE TABLE ... SELECT`, was GTID unsicher ist. Eine mögliche Lösung besteht darin, dies in zwei Anweisungen aufzuteilen: `CREATE TABLE ... LIKE` und `INSERT INTO ... SELECT`. Überprüfen Sie Dateien in den Verzeichnissen `packages/cubejs query orchestrator` oder `packages/cubejs schema compiler` für den MySQL Dialekt. Prüfen Sie die Issue Kommentare auf vorgeschlagene Lösungen oder Anleitungen der Maintainer.
Tech Stack
rustsql
Domain
backenddatabase
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
SQLMySQLreplication
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30