apache/beam

Python SDK BigQuery `schemaUpdateOptions`

Aperta

#21.141 aperta il 4 giu 2022

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (1 assegnatario)Java (4097 fork)batch import
P3gcpgood first issueimprovementiopythonusability

Metriche repository

Star
 (7313 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

I noticed that in the Java SDK schemaUpdateOptions are exposed clearly to the user: https://beam.apache.org/releases/javadoc/2.32.0/org/apache/beam/sdk/io/gcp/bigquery/BigQueryIO.Write.html

 

Whereas, in the Python SDK this option seems to only be able to be passed through additional_bq_paramaters. 

 

Is this something which should be resolved? Perhaps add the schemaUpdateOptions to https://github.com/apache/beam/blob/b9457b711029051a837255e1bb516e55d32e56d5/sdks/python/apache_beam/io/gcp/bigquery.py#L437 and expose a kwarg to pass them in? 

Imported from Jira BEAM-12994. Original Jira may contain additional context. Reported by: judah.rand.

Guida contributor

Direzione di ricerca
Questa richiesta chiede di esporre direttamente `schemaUpdateOptions` come argomento chiave nel sink Python di BigQuery, simile all'SDK Java. Il file rilevante è `sdks/python/apache beam/io/gcp/bigquery.py` riga 437. Per procedere, esamina l'implementazione Java come riferimento, quindi aggiungi il parametro al metodo di scrittura Python e assicurati che venga passato correttamente alle chiamate API sottostanti. Dovrebbero essere aggiunti test per verificare che la nuova opzione funzioni come previsto.
Tech stack
python
Dominio
dataapi
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python SDKBigQuery
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60