apache/beam

Set region when BigqueryIO.write using DirectRunner

Open

#18 812 ouverte le 3 juin 2022

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Java (4 097 forks)batch import
P3dataflowdirectgood first issuenew featurerunners

Métriques du dépôt

Stars
 (7 313 stars)
Métriques de merge PR
 (Merge moyen 6j) (243 PRs mergées en 30 j)

Description

Cannot set region for BigQuery dataset when using direct runner using Apache Beam. I'm trying to get data from Oracle via JdbcIO.read using apache beam to get data and push them to bigquery table. Problem is I have to use direct runner because Oracle DB is local, and the bigquery dataset must located in asia, not the default us-central. so now I cannot push data because the default location dont have my target dataset. I tried extending the GcpOption but no help. Don't suggest me to use the DataflowRunner, because it cannot load data from Oracle local. Thanks.

Imported from Jira BEAM-4247. Original Jira may contain additional context. Reported by: doduythao.

Guide contributeur

Direction de recherche
Étudiez comment le DirectRunner gère les paramètres de region BigQuery. Examinez l'implémentation de BigQueryIO.write et voyez s'il existe un moyen de passer des options d'emplacement. Il est possible que le DirectRunner ignore certaines options du pipeline. Vérifiez GcpOptions et voyez si la region peut être transmise via defaultWorkerLogUrlOverrides ou similaire. Envisagez également d'utiliser un GcpPipelineOptions personnalisé.
Stack technique
java
Domaine
backendapi
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
JavaApache Beam
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50