apache/beam

[Feature Request]: Use unique id for Python BigQueryIO

Open

#22 733 ouverte le 15 août 2022

Voir sur GitHub
 (9 commentaires) (0 réactions) (1 assigné)Java (4 097 forks)batch import
P2gcpgood first issueionew featurepython

Métriques du dépôt

Stars
 (7 313 stars)
Métriques de merge PR
 (Merge moyen 6j) (243 PRs mergées en 30 j)

Description

What would you like to happen?

There can be a collision when 2 pipelines using templates are loading to BigQuery at the same time to the same temp_location.

@baeminbo found there is code to use unique_id [1], but it seems that templates can re-use the same uuid. It is fixed for Java[2] by moving the UUID generation into a DoFn of a ParDo

[1] https://github.com/apache/beam/blob/v2.34.0/sdks/python/apache_beam/io/gcp/bigquery.py#L2399 [2] https://github.com/apache/beam/blob/v2.34.0/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/bigquery/BigQueryIO.java#L1094-L1105

Issue Priority

Priority: 2

Issue Component

Component: io-py-gcp

Guide contributeur

Direction de recherche
Le problème décrit une collision dans Python BigQueryIO lorsque deux pipelines utilisent des modèles avec le même temp location. Il fait référence au code existant dans apache beam/io/gcp/bigquery.py vers la ligne 2399 et à un correctif Java dans BigQueryIO.java aux lignes 1094-1105. La solution consiste à déplacer la génération d'UUID dans un DoFn au sein d'un ParDo. Un nouveau venu doit examiner le fichier Python, comprendre l'utilisation actuelle de l'UUID et reproduire le modèle de correctif Java. Le problème a un assigné (non spécifié) et des commentaires, donc vérifiez tout travail existant avant de commencer.
Stack technique
python
Domaine
backendapidata
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonBigQuery
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50