apache/airflow

ExternalTaskSensor: An option to use the data_interval variables rather than execution_date

Open

#26.429 aberto em 16 de set. de 2022

Ver no GitHub
 (5 comments) (1 reaction) (0 assignees)Python (16.781 forks)batch import
good first issuekind:feature

Métricas do repositório

Stars
 (44.809 stars)
Métricas de merge de PR
 (Mesclagem média 7d 18h) (834 fundiu PRs em 30d)

Description

Description

Since execution_date is deprecated, it makes sense that this sensor or a new version of it (for backward compatibility) uses the data_interval variables.

Use case/motivation

I want to make sure that the data interval this DAG is about to operate on is covered by another DAG. For example, data was loaded up to this DAG's data_interval_end.

I believe the sensor itself is simple to write. It just uses data_interval_end rather than execution_date and it doesn't look for one specific task, any external.data_interval_end > self.data_interval_end is acceptable.

This is the equivalent of ExternalTaskSensor with execution_delta set to self.interval_start - closest_external_interval.interval_start which can be calculated manually but will fail later if the external DAG schedule is changed.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Examine a implementação atual do ExternalTaskSensor em airflow/sensors/external task sensor.py. Entenda como execution date é atualmente usado para encontrar a tarefa externa. Investigue como as variáveis de intervalo de dados (data interval start, data interval end) estão disponíveis nas instâncias de tarefa. Proponha um novo parâmetro (por exemplo, use data interval) ou uma nova classe de sensor que compare data interval end em vez de execution date. Revise os comentários da issue para quaisquer requisitos ou restrições adicionais. Garanta a compatibilidade com versões anteriores do uso existente de execution date.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
AirflowPython
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65