apache/airflow

ExternalTaskSensor: An option to use the data_interval variables rather than execution_date

Open

#26.429 aperta il 16 set 2022

Vedi su GitHub
 (5 commenti) (1 reazione) (0 assegnatari)Python (16.781 fork)batch import
good first issuekind:feature

Metriche repository

Star
 (44.809 star)
Metriche merge PR
 (Merge medio 7g 18h) (834 PR mergiate in 30 g)

Descrizione

Description

Since execution_date is deprecated, it makes sense that this sensor or a new version of it (for backward compatibility) uses the data_interval variables.

Use case/motivation

I want to make sure that the data interval this DAG is about to operate on is covered by another DAG. For example, data was loaded up to this DAG's data_interval_end.

I believe the sensor itself is simple to write. It just uses data_interval_end rather than execution_date and it doesn't look for one specific task, any external.data_interval_end > self.data_interval_end is acceptable.

This is the equivalent of ExternalTaskSensor with execution_delta set to self.interval_start - closest_external_interval.interval_start which can be calculated manually but will fail later if the external DAG schedule is changed.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Esamina l'implementazione corrente di ExternalTaskSensor in airflow/sensors/external task sensor.py. Comprendi come execution date viene attualmente utilizzato per trovare il task esterno. Indaga come le variabili di intervallo dati (data interval start, data interval end) sono disponibili nelle istanze dei task. Proponi un nuovo parametro (ad esempio, use data interval) o una nuova classe di sensore che confronti data interval end invece di execution date. Rivedi i commenti dell'issue per eventuali requisiti o vincoli aggiuntivi. Assicura la compatibilità all'indietro con l'uso esistente di execution date.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
AirflowPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65