apache/beam

Bigquery queries should allow options to run in batch mode or not

Aperta

#18.486 aperta il 3 giu 2022

Vedi su GitHubGuida contributor
 (0 commenti) (0 reazioni) (0 assegnatari)Java (4097 fork)batch import
P3buggcpgood first issueiojava

Metriche repository

Star
 (7313 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

When bigquery read does a query it sets the mode to batch. A batch query can be very slow to schedule as it batches it with other queries. However it doesn't use batch quota which is better for some cases. However, in some cases a fast query is better (especially in timed tests). It would be a good idea to have a configuration to the bigquery source to set this per-read.

Imported from Jira BEAM-2817. Original Jira may contain additional context. Reported by: laraschmidt.

Guida contributor

Direzione di ricerca
Identifica dove è definita la trasformazione di lettura di BigQuery e come vengono passate le opzioni di query. Aggiungi un nuovo parametro per la selezione della modalità batch.
Tech stack
java
Dominio
backenddata engineering
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaApache BeamBigQuery
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70