apache/beam

BigQueryBatchFileLoads dynamic destination

Open

#20.242 aperta il 4 giu 2022

Vedi su GitHub
 (6 commenti) (0 reazioni) (1 assegnatario)Java (4097 fork)batch import
P3bugdocumentationgcpgood first issueiopython

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

I am trying to use BigQueryBatchFileLoads to upload data from pubsub. It works fine for a single table, but when I try to use a dynamic destination such as destination=lambda elem: "my_project:my_dataset." **** elem["sensor_key"], it just makes a new table for each time the triggering_frequency procs. I know it makes temporary tables before loading it all into one, but it never loads them. It just creates more and more tables.

Imported from Jira BEAM-9917. Original Jira may contain additional context. Reported by: tordaut.

Guida contributor

Direzione di ricerca
Indaga come vengono gestite le tabelle temporanee in BigQueryBatchFileLoads quando si utilizzano destinazioni dinamiche. Assicurati che triggering frequency unisca correttamente le tabelle temporanee nella destinazione finale.
Tech stack
java
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
JavaApache BeamBigQuery
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60