apache/beam

Set region when BigqueryIO.write using DirectRunner

Open

#18.812 aperta il 3 giu 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (4097 fork)batch import
P3dataflowdirectgood first issuenew featurerunners

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

Cannot set region for BigQuery dataset when using direct runner using Apache Beam. I'm trying to get data from Oracle via JdbcIO.read using apache beam to get data and push them to bigquery table. Problem is I have to use direct runner because Oracle DB is local, and the bigquery dataset must located in asia, not the default us-central. so now I cannot push data because the default location dont have my target dataset. I tried extending the GcpOption but no help. Don't suggest me to use the DataflowRunner, because it cannot load data from Oracle local. Thanks.

Imported from Jira BEAM-4247. Original Jira may contain additional context. Reported by: doduythao.

Guida contributor

Direzione di ricerca
Investiga come DirectRunner gestisce le impostazioni della regione di BigQuery. Guarda l'implementazione di BigQueryIO.write e verifica se esiste un modo per passare le opzioni di localizzazione. Probabilmente DirectRunner ignora alcune opzioni della pipeline. Controlla GcpOptions e verifica se la regione può essere passata tramite defaultWorkerLogUrlOverrides o simili. Considera anche l'utilizzo di un GcpPipelineOptions personalizzato.
Tech stack
java
Dominio
backendapi
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
JavaApache Beam
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50