apache/beam

[Feature Request]: Use unique id for Python BigQueryIO

Open

#22.733 aperta il 15 ago 2022

Vedi su GitHub
 (9 commenti) (0 reazioni) (1 assegnatario)Java (4097 fork)batch import
P2gcpgood first issueionew featurepython

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

What would you like to happen?

There can be a collision when 2 pipelines using templates are loading to BigQuery at the same time to the same temp_location.

@baeminbo found there is code to use unique_id [1], but it seems that templates can re-use the same uuid. It is fixed for Java[2] by moving the UUID generation into a DoFn of a ParDo

[1] https://github.com/apache/beam/blob/v2.34.0/sdks/python/apache_beam/io/gcp/bigquery.py#L2399 [2] https://github.com/apache/beam/blob/v2.34.0/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/bigquery/BigQueryIO.java#L1094-L1105

Issue Priority

Priority: 2

Issue Component

Component: io-py-gcp

Guida contributor

Direzione di ricerca
Il problema descrive una collisione in Python BigQueryIO quando due pipeline utilizzano modelli con lo stesso temp location. Fa riferimento al codice esistente in apache beam/io/gcp/bigquery.py intorno alla riga 2399 e a una correzione Java in BigQueryIO.java alle righe 1094-1105. La soluzione prevede di spostare la generazione dell'UUID in un DoFn all'interno di un ParDo. Un nuovo arrivato dovrebbe esaminare il file Python, comprendere l'attuale utilizzo dell'UUID e replicare il modello di correzione Java. Il problema ha un assegnatario (non specificato) e commenti, quindi controllare eventuali lavori esistenti prima di iniziare.
Tech stack
python
Dominio
backendapidata
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonBigQuery
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50