apache/beam

Test Spark streaming pipelines with maxRecordsPerBatch

Open

#18.354 aperta il 3 giu 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (4097 fork)batch import
P3good first issuerunnerssparktests

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

Add tests for Spark streaming pipelines with maxRecordsPerBatch configured in SparkPipelineOptions.

Imported from Jira BEAM-2127. Original Jira may contain additional context. Reported by: aviemzur.

Guida contributor

Direzione di ricerca
Esamina i test esistenti di Spark streaming nel codice di Beam e aggiungi un test che configuri maxRecordsPerBatch in SparkPipelineOptions.
Tech stack
java
Dominio
data
Tipo issue
Test
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
java
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75