apache/beam

DirectRunner unnecessarily re-scheules tasks after exceptions

Open

#18.141 aperta il 3 giu 2022

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Java (4097 fork)batch import
P3bugcoregood first issuepython

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

Seems like DirectRunner keeps scheduling tasks when exceptions occur when reading BigQuery results (and possibly in other cases).

I verified that rescheduling is not coming from BigQuery. AFAIKT a _MonitorTask that gets added at following location does not get removed properly when an exception is thrown. https://github.com/apache/beam/blob/master/sdks/python/apache_beam/runners/direct/executor.py#L361

To reproduce: (1) Raise a 'ValueError' at the beginning of method BigQueryWrapper.convert_row_to_dict at following location. https://github.com/apache/beam/blob/master/sdks/python/apache_beam/io/bigquery.py#L1061 (2) Setup Python SDK and run bigquery_tornadoes with DirectRunner. python -m apache_beam.examples.cookbook.bigquery_tornadoes --output <table> --project <project>

Imported from Jira BEAM-1462. Original Jira may contain additional context. Reported by: chamikara.

Guida contributor

Direzione di ricerca
Esamina il ciclo di vita di MonitorTask in executor.py, concentrandoti su come i task vengono aggiunti e rimossi quando si verificano eccezioni. Traccia il percorso del codice da BigQueryWrapper.convert row to dict per capire perché il task non viene pulito.
Tech stack
python
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60