apache/beam

Bigquery queries should allow options to run in batch mode or not

Open

#18.486 aberto em 3 de jun. de 2022

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Java (4.097 forks)batch import
P3buggcpgood first issueiojava

Métricas do repositório

Stars
 (7.313 stars)
Métricas de merge de PR
 (Mesclagem média 6d) (243 fundiu PRs em 30d)

Description

When bigquery read does a query it sets the mode to batch. A batch query can be very slow to schedule as it batches it with other queries. However it doesn't use batch quota which is better for some cases. However, in some cases a fast query is better (especially in timed tests). It would be a good idea to have a configuration to the bigquery source to set this per-read.

Imported from Jira BEAM-2817. Original Jira may contain additional context. Reported by: laraschmidt.

Guia do colaborador

Direção de pesquisa
Identifique onde a transformação de leitura do BigQuery é definida e como as opções de consulta são passadas. Adicione um novo parâmetro para seleção do modo batch.
Pilha de tecnologia
java
Domain
backenddata engineering
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaApache BeamBigQuery
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70