cube-js/cube

Store pre-aggregations in a directory within an export bucket with the BigQuery driver

Open

#4.252 geöffnet am 21. März 2022

Auf GitHub ansehen
 (3 Kommentare) (2 Reaktionen) (0 zugewiesene Personen)Rust (1.965 Forks)batch import
driver:bigqueryhelp wanted

Repository-Metriken

Stars
 (19.563 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 16h) (138 gemergte PRs in 30 T)

Beschreibung

Is your feature request related to a problem? Please describe. I want to store pre-aggregations for different tenants in separate folders within the same export bucket.

Describe the solution you'd like Maybe to have CUBEJS_DB_EXPORT_BUCKET changed to CUBEJS_DB_EXPORT_PATH, or at least have the semantic changes to support both plain buckets and s3://... or gs://... paths like boto/gsutil does.

Describe alternatives you've considered There is no alternative solution except for using different buckets altogether.

Additional context The BigQuery driver uses a bucket eg CUBEJS_DB_EXPORT_BUCKET=cube-cloud-staging-export-bucket. The Athena driver supports S3 paths eg CUBEJS_DB_EXPORT_BUCKET=s3://cubejs-benchmarks/home/app/.../.

Contributor Guide

Research-Richtung
Das Issue fordert Unterstützung für das Speichern von Pre Aggregations in Unterverzeichnissen innerhalb eines Export Buckets für den BigQuery Treiber. Derzeit verwendet der BigQuery Treiber über CUBEJS DB EXPORT BUCKET einen einfachen Bucket Namen, während der Athena Treiber S3 Pfade unterstützt. Die Lösung würde die Änderung des Treibers umfassen, um Pfade ähnlich wie boto/gsutil zu akzeptieren und zu verarbeiten. Sehen Sie sich die Implementierungen der BigQuery und Athena Treiber in der Cube.js Codebasis als Referenz an.
Tech Stack
typescriptjavascript
Domain
backendclouddatabase
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GitNode.js
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75