[Feature Request]: Use unique id for Python BigQueryIO · apache/beam#22733

(9 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Java (4.097 Forks)batch import

P2gcpgood first issueionew featurepython

Repository-Metriken

Stars: (7.313 Stars)
PR-Merge-Metriken: (Durchschn. Merge 6T) (243 gemergte PRs in 30 T)

Beschreibung

What would you like to happen?

There can be a collision when 2 pipelines using templates are loading to BigQuery at the same time to the same temp_location.

@baeminbo found there is code to use unique_id [1], but it seems that templates can re-use the same uuid. It is fixed for Java[2] by moving the UUID generation into a DoFn of a ParDo

[1] https://github.com/apache/beam/blob/v2.34.0/sdks/python/apache_beam/io/gcp/bigquery.py#L2399 [2] https://github.com/apache/beam/blob/v2.34.0/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/bigquery/BigQueryIO.java#L1094-L1105

Issue Priority

Priority: 2

Issue Component

Component: io-py-gcp

Contributor Guide

Research-Richtung: Das Problem beschreibt eine Kollision in Python BigQueryIO, wenn zwei Pipelines Vorlagen mit demselben temp location verwenden. Es verweist auf vorhandenen Code in apache beam/io/gcp/bigquery.py um Zeile 2399 und eine Java Korrektur in BigQueryIO.java in den Zeilen 1094-1105. Die Lösung besteht darin, die UUID Generierung in einen DoFn innerhalb eines ParDo zu verschieben. Ein Neuling sollte die Python Datei prüfen, die aktuelle UUID Verwendung verstehen und das Java Korrekturmuster replizieren. Das Problem hat einen Zugewiesenen (nicht spezifiziert) und Kommentare, daher vor Beginn auf bestehende Arbeiten prüfen.
Tech Stack: python
Domain: backendapidata
Issue Type: Funktion
Schwierigkeit: 2
Geschätzte Zeit: Halber Tag
Aktivitätsstatus: Aktiv
Klarheit: Klar
Voraussetzungen: PythonBigQuery
Einsteigerfreundlichkeit: 50