cube-js/cube

Store pre-aggregations in a directory within an export bucket with the BigQuery driver

Open

#4 252 ouverte le 21 mars 2022

Voir sur GitHub
 (3 commentaires) (2 réactions) (0 assignés)Rust (1 965 forks)batch import
driver:bigqueryhelp wanted

Métriques du dépôt

Stars
 (19 563 stars)
Métriques de merge PR
 (Merge moyen 5j 16h) (138 PRs mergées en 30 j)

Description

Is your feature request related to a problem? Please describe. I want to store pre-aggregations for different tenants in separate folders within the same export bucket.

Describe the solution you'd like Maybe to have CUBEJS_DB_EXPORT_BUCKET changed to CUBEJS_DB_EXPORT_PATH, or at least have the semantic changes to support both plain buckets and s3://... or gs://... paths like boto/gsutil does.

Describe alternatives you've considered There is no alternative solution except for using different buckets altogether.

Additional context The BigQuery driver uses a bucket eg CUBEJS_DB_EXPORT_BUCKET=cube-cloud-staging-export-bucket. The Athena driver supports S3 paths eg CUBEJS_DB_EXPORT_BUCKET=s3://cubejs-benchmarks/home/app/.../.

Guide contributeur

Direction de recherche
La demande concerne le support du stockage des pré agrégations dans des sous répertoires au sein d'un bucket d'exportation pour le pilote BigQuery. Actuellement, le pilote BigQuery utilise un simple nom de bucket via CUBEJS DB EXPORT BUCKET, tandis que le pilote Athena prend en charge les chemins S3. La solution impliquerait de modifier le pilote pour accepter et gérer les chemins, de manière similaire à boto/gsutil. Consultez les implémentations des pilotes BigQuery et Athena dans la base de code de Cube.js pour référence.
Stack technique
typescriptjavascript
Domaine
backendclouddatabase
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitNode.js
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75