apache/beam

Python SDK BigQuery `schemaUpdateOptions`

Open

#21.141 geöffnet am 4. Juni 2022

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Java (4.097 Forks)batch import
P3gcpgood first issueimprovementiopythonusability

Repository-Metriken

Stars
 (7.313 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T) (243 gemergte PRs in 30 T)

Beschreibung

I noticed that in the Java SDK schemaUpdateOptions are exposed clearly to the user: https://beam.apache.org/releases/javadoc/2.32.0/org/apache/beam/sdk/io/gcp/bigquery/BigQueryIO.Write.html

 

Whereas, in the Python SDK this option seems to only be able to be passed through additional_bq_paramaters. 

 

Is this something which should be resolved? Perhaps add the schemaUpdateOptions to https://github.com/apache/beam/blob/b9457b711029051a837255e1bb516e55d32e56d5/sdks/python/apache_beam/io/gcp/bigquery.py#L437 and expose a kwarg to pass them in? 

Imported from Jira BEAM-12994. Original Jira may contain additional context. Reported by: judah.rand.

Contributor Guide

Research-Richtung
Dieses Issue fordert, `schemaUpdateOptions` direkt als kwarg in der Python BigQuery Senke verfügbar zu machen, ähnlich wie im Java SDK. Die relevante Datei ist `sdks/python/apache beam/io/gcp/bigquery.py` Zeile 437. Um fortzufahren, untersuchen Sie die Java Implementierung als Referenz, fügen Sie dann den Parameter zur Python Schreibmethode hinzu und stellen Sie sicher, dass er korrekt an die zugrunde liegenden API Aufrufe übergeben wird. Es sollten Tests hinzugefügt werden, um zu überprüfen, ob die neue Option wie erwartet funktioniert.
Tech Stack
python
Domain
dataapi
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Python SDKBigQuery
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60