cube-js/cube

Store pre-aggregations in a directory within an export bucket with the BigQuery driver

Open

#4.252 aberto em 21 de mar. de 2022

Ver no GitHub
 (3 comments) (2 reactions) (0 assignees)Rust (1.965 forks)batch import
driver:bigqueryhelp wanted

Métricas do repositório

Stars
 (19.563 stars)
Métricas de merge de PR
 (Mesclagem média 5d 16h) (138 fundiu PRs em 30d)

Description

Is your feature request related to a problem? Please describe. I want to store pre-aggregations for different tenants in separate folders within the same export bucket.

Describe the solution you'd like Maybe to have CUBEJS_DB_EXPORT_BUCKET changed to CUBEJS_DB_EXPORT_PATH, or at least have the semantic changes to support both plain buckets and s3://... or gs://... paths like boto/gsutil does.

Describe alternatives you've considered There is no alternative solution except for using different buckets altogether.

Additional context The BigQuery driver uses a bucket eg CUBEJS_DB_EXPORT_BUCKET=cube-cloud-staging-export-bucket. The Athena driver supports S3 paths eg CUBEJS_DB_EXPORT_BUCKET=s3://cubejs-benchmarks/home/app/.../.

Guia do colaborador

Direção de pesquisa
A issue solicita suporte para armazenar pré agregações em subdiretórios dentro de um bucket de exportação para o driver do BigQuery. Atualmente, o driver do BigQuery usa um nome simples de bucket via CUBEJS DB EXPORT BUCKET, enquanto o driver do Athena suporta caminhos S3. A solução envolveria modificar o driver para aceitar e manipular caminhos, de forma semelhante a como o boto/gsutil funciona. Consulte as implementações dos drivers BigQuery e Athena na base de código do Cube.js para referência.
Pilha de tecnologia
typescriptjavascript
Domain
backendclouddatabase
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitNode.js
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75