apache/beam

JsonToRow can catch errors in downstream transforms

Fermée

#20 935 ouverte le 4 juin 2022

Voir sur GitHubGuide contributeur
 (2 commentaires) (0 réaction) (1 personne assignée)Java (4 097 forks)batch import
P3bugcoregood first issuejava

Métriques du dépôt

Stars
 (7 313 étoiles)
Métriques de merge PR
 (Merge moyen 6j) (243 PRs mergées en 30 j)

Description

JsonToRow :

  |try {| | | | | |output.get(PARSED_LINE).output(jsonToRow(objectMapper(), element));| | | | | |} catch (Exception ex) {|

Can catch errors thrown downstream with runners that have fusion. This can be confusing as it can appear that the issue happens in the parse operation , when its really happening in a transform further down the DAG. This is made worse as different runners can show different behaviour in this situation.

 

Replace with try{i = parse}catch{}  if i not null output

Imported from Jira BEAM-11940. Original Jira may contain additional context. Reported by: rarokni@gmail.com.

Guide contributeur

Direction de recherche
Le problème se trouve dans la transformation JsonToRow d'Apache Beam. Localisez la classe JsonToRow (probablement dans `sdks/java/core/src/main/java/org/apache/beam/sdk/io/json/JsonToRow.java`). Le code actuel a un bloc try catch qui capture les erreurs en aval ; remplacez le par un try qui capture uniquement les erreurs lors de l'analyse et qui renvoie null si l'analyse échoue. Assurez vous que la correction soit conforme à la description de Jira BEAM 11940.
Stack technique
java
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
JavaApache Beam
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65