cube-js/cube

Store pre-aggregations in a directory within an export bucket with the BigQuery driver

Open

#4252 aperta il 21 mar 2022

Vedi su GitHub
 (3 commenti) (2 reazioni) (0 assegnatari)Rust (1965 fork)batch import
driver:bigqueryhelp wanted

Metriche repository

Star
 (19.563 star)
Metriche merge PR
 (Merge medio 5g 16h) (138 PR mergiate in 30 g)

Descrizione

Is your feature request related to a problem? Please describe. I want to store pre-aggregations for different tenants in separate folders within the same export bucket.

Describe the solution you'd like Maybe to have CUBEJS_DB_EXPORT_BUCKET changed to CUBEJS_DB_EXPORT_PATH, or at least have the semantic changes to support both plain buckets and s3://... or gs://... paths like boto/gsutil does.

Describe alternatives you've considered There is no alternative solution except for using different buckets altogether.

Additional context The BigQuery driver uses a bucket eg CUBEJS_DB_EXPORT_BUCKET=cube-cloud-staging-export-bucket. The Athena driver supports S3 paths eg CUBEJS_DB_EXPORT_BUCKET=s3://cubejs-benchmarks/home/app/.../.

Guida contributor

Direzione di ricerca
La richiesta riguarda il supporto per memorizzare le pre aggregazioni in sottodirectory all'interno di un bucket di esportazione per il driver BigQuery. Attualmente, il driver BigQuery utilizza un semplice nome del bucket tramite CUBEJS DB EXPORT BUCKET, mentre il driver Athena supporta i percorsi S3. La soluzione richiederebbe di modificare il driver per accettare e gestire i percorsi, in modo simile a come funzionano boto/gsutil. Fare riferimento alle implementazioni dei driver BigQuery e Athena nella codebase di Cube.js.
Tech stack
typescriptjavascript
Dominio
backendclouddatabase
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitNode.js
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75