apache/beam

JsonToRow can catch errors in downstream transforms

Chiusa

#20.935 aperta il 4 giu 2022

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (1 assegnatario)Java (4097 fork)batch import
P3bugcoregood first issuejava

Metriche repository

Star
 (7313 stelle)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

JsonToRow :

  |try {| | | | | |output.get(PARSED_LINE).output(jsonToRow(objectMapper(), element));| | | | | |} catch (Exception ex) {|

Can catch errors thrown downstream with runners that have fusion. This can be confusing as it can appear that the issue happens in the parse operation , when its really happening in a transform further down the DAG. This is made worse as different runners can show different behaviour in this situation.

 

Replace with try{i = parse}catch{}  if i not null output

Imported from Jira BEAM-11940. Original Jira may contain additional context. Reported by: rarokni@gmail.com.

Guida contributor

Direzione di ricerca
Il problema si trova nella trasformazione JsonToRow in Apache Beam. Individua la classe JsonToRow (probabilmente in `sdks/java/core/src/main/java/org/apache/beam/sdk/io/json/JsonToRow.java`). Il codice attuale ha un blocco try catch che cattura gli errori a valle; sostituiscilo con un try che catturi solo gli errori durante il parsing e restituisca null se il parsing fallisce. Assicurati che la correzione sia allineata con la descrizione di Jira BEAM 11940.
Tech stack
java
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaApache Beam
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65