apache/beam

Python SDK BigQuery `schemaUpdateOptions`

Open

#21 141 ouverte le 4 juin 2022

Voir sur GitHub
 (2 commentaires) (0 réactions) (1 assigné)Java (4 097 forks)batch import
P3gcpgood first issueimprovementiopythonusability

Métriques du dépôt

Stars
 (7 313 stars)
Métriques de merge PR
 (Merge moyen 6j) (243 PRs mergées en 30 j)

Description

I noticed that in the Java SDK schemaUpdateOptions are exposed clearly to the user: https://beam.apache.org/releases/javadoc/2.32.0/org/apache/beam/sdk/io/gcp/bigquery/BigQueryIO.Write.html

 

Whereas, in the Python SDK this option seems to only be able to be passed through additional_bq_paramaters. 

 

Is this something which should be resolved? Perhaps add the schemaUpdateOptions to https://github.com/apache/beam/blob/b9457b711029051a837255e1bb516e55d32e56d5/sdks/python/apache_beam/io/gcp/bigquery.py#L437 and expose a kwarg to pass them in? 

Imported from Jira BEAM-12994. Original Jira may contain additional context. Reported by: judah.rand.

Guide contributeur

Direction de recherche
Cette demande propose d'exposer directement `schemaUpdateOptions` en tant qu'argument nommé dans le récepteur Python BigQuery, similaire au SDK Java. Le fichier concerné est `sdks/python/apache beam/io/gcp/bigquery.py` ligne 437. Pour avancer, examinez l'implémentation Java comme référence, puis ajoutez le paramètre à la méthode d'écriture Python et assurez vous qu'il est correctement transmis aux appels d'API sous jacents. Des tests doivent être ajoutés pour vérifier que la nouvelle option fonctionne comme prévu.
Stack technique
python
Domaine
dataapi
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Python SDKBigQuery
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60