cube-js/cube

Pre-aggregation queries are not GTID safe - MySQL

Open

#1 810 ouverte le 19 janv. 2021

Voir sur GitHub
 (5 commentaires) (0 réactions) (0 assignés)Rust (1 965 forks)batch import
driver:mysqlhelp wanted

Métriques du dépôt

Stars
 (19 563 stars)
Métriques de merge PR
 (Merge moyen 5j 16h) (138 PRs mergées en 30 j)

Description

Describe the bug

Queries to create pre-agg tables use CREATE TABLE ... SELECT syntax. This syntax is not valid when running MySQL with GTID based replication. see here

GTID based replication also happens to be used by Google CloudSQL and is not configurable. This means that pre-aggregations cannot by used.

Note: This issue theoretically will also appear when using statement based replication.

To Reproduce Run a MySQL database using GTIDs for replication

Add a cube with a pre-aggregation. Will fail with an error like "Error: ER_GTID_UNSAFE_CREATE_SELECT: Statement violates GTID consistency: CREATE TABLE ... SELECT."

Expected behavior Pre-aggregation queries should be safe for statement based replication as well as replication with GTIDs.

Guide contributeur

Direction de recherche
Étudiez le code de génération SQL spécifique à MySQL dans Cube.js pour les pré agrégations. L'implémentation actuelle utilise `CREATE TABLE ... SELECT`, ce qui n'est pas sûr pour GTID. Une correction possible consiste à le diviser en deux instructions : `CREATE TABLE ... LIKE` et `INSERT INTO ... SELECT`. Examinez les fichiers dans les répertoires `packages/cubejs query orchestrator` ou `packages/cubejs schema compiler` pour le dialecte MySQL. Vérifiez les commentaires de l'issue pour toute solution proposée ou conseils des mainteneurs.
Stack technique
rustsql
Domaine
backenddatabase
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
SQLMySQLreplication
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30