apache/beam

[Task]: Update BigQueryIO.setTriggeringFrequency documentation

Open

#23.949 geöffnet am 2. Nov. 2022

Auf GitHub ansehen
 (20 Kommentare) (0 Reaktionen) (3 zugewiesene Personen)Java (4.097 Forks)batch import
P2bigquerygcpgood first issueiojavatask

Repository-Metriken

Stars
 (7.313 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T) (243 gemergte PRs in 30 T)

Beschreibung

What needs to happen?

BigQueryIO currently documents triggering frequency as:

This is only applicable when the write method is set to {@link Method#FILE_LOADS}, and only when writing an unbounded {@link PCollection}.

However, we use triggering frequency for STORAGE_WRITE_API and STORAGE_API_AT_LEAST_ONCE as well. This documentation should be updated to reflect this.

In addition, during the validation component of BigQueryIO.write().expand(), we check for unbounded && (file loads || storage write api) to see if a triggering frequency is set. This should probably also be checked if storage write at least once is set.

Issue Priority

Priority: 2

Issue Component

Component: io-java-gcp

Contributor Guide

Research-Richtung
Überprüfen Sie die aktuelle Dokumentation und Validierungslogik für BigQueryIO.setTriggeringFrequency. Aktualisieren Sie die Dokumentation, um STORAGE WRITE API und STORAGE API AT LEAST ONCE abzudecken. Passen Sie auch die Validierungsprüfung in BigQueryIO.write().expand() an, um STORAGE API AT LEAST ONCE einzubeziehen.
Tech Stack
java
Domain
backend
Issue Type
Dokumentation
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Java
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65