apache/beam

[Task]: Update BigQueryIO.setTriggeringFrequency documentation

Open

#23.949 aperta il 2 nov 2022

Vedi su GitHub
 (20 commenti) (0 reazioni) (3 assegnatari)Java (4097 fork)batch import
P2bigquerygcpgood first issueiojavatask

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

What needs to happen?

BigQueryIO currently documents triggering frequency as:

This is only applicable when the write method is set to {@link Method#FILE_LOADS}, and only when writing an unbounded {@link PCollection}.

However, we use triggering frequency for STORAGE_WRITE_API and STORAGE_API_AT_LEAST_ONCE as well. This documentation should be updated to reflect this.

In addition, during the validation component of BigQueryIO.write().expand(), we check for unbounded && (file loads || storage write api) to see if a triggering frequency is set. This should probably also be checked if storage write at least once is set.

Issue Priority

Priority: 2

Issue Component

Component: io-java-gcp

Guida contributor

Direzione di ricerca
Ispeziona la documentazione e la logica di convalida attuali per BigQueryIO.setTriggeringFrequency. Aggiorna la documentazione per coprire STORAGE WRITE API e STORAGE API AT LEAST ONCE. Modifica anche il controllo di convalida in BigQueryIO.write().expand() per includere STORAGE API AT LEAST ONCE.
Tech stack
java
Dominio
backend
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Java
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65