apache/beam

Check immutability violations in Dataflow Runner (as an option)

Open

#19.400 aperta il 3 giu 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (4097 fork)batch import
P3coregood first issuenew featurepython

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

Users are going to mutate inputs and outputs of DoFn inappropriately. We should help their tests fail to catch such mistakes. (Similar to the DirectPipelineRunner in Java SDK) This should be offered as an option and worked based on sampling because of the cost of these checks.

Imported from Jira BEAM-7395. Original Jira may contain additional context. Reported by: altay.

Guida contributor

Direzione di ricerca
Studia come DirectPipelineRunner implementa i controlli di immutabilità e poi implementa controlli simili con campionamento in DataflowRunner.
Tech stack
java
Dominio
backenddata
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
JavaApache Beam concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40