apache/airflow

Deferrable HttpSensor does not move to Triggerer when using `response_check`

Open

#40.209 aberto em 13 de jun. de 2024

Ver no GitHub
 (5 comments) (0 reactions) (1 assignee)Python (16.781 forks)batch import
contributors-workshopgood first issuekind:bugprovider:http

Métricas do repositório

Stars
 (44.809 stars)
Métricas de merge de PR
 (Mesclagem média 7d 18h) (834 fundiu PRs em 30d)

Description

Discussed in https://github.com/apache/airflow/discussions/39597

Originally posted by bejota May 13, 2024 Hello, I'm using HttpSensor to poll SLURM's REST API for job status. I'm using deferrable mode with response_check. The task only goes to the triggerer if I remove the response_check.

Airflow Docker Image apache/airflow:latest-python3.9 Airflow Version 2.9.0 apache-airflow-providers-http 4.10.0

Does not move to triggerer:

check_slurm_job = HttpSensor(
    task_id="check_slurm_job",
    http_conn_id="slurm_conn_id",
    method="get",
    endpoint="slurm/v0.0.40/job/999",
    response_check=lambda response: "COMPLETED" in response.text,
    poke_interval=10,
    timeout=60 * 60 * 5,
    deferrable=True,  # not deferring to triggerer ?
    dag=dag,
)

Moves to triggerer:

check_slurm_job = HttpSensor(
    task_id="check_slurm_job",
    http_conn_id="slurm_conn_id",
    method="get",
    endpoint="slurm/v0.0.40/job/999",
    # response_check=lambda response: "COMPLETED" in response.text,
    poke_interval=10,
    timeout=60 * 60 * 5,
    deferrable=True,  # not deferring to triggerer ?
    dag=dag,
)

In digging further, I see that HttpTrigger has no response_check method. I will attempt to add one, unless there is a better approach to this problem?

Guia do colaborador

Direção de pesquisa
Investigue as classes HttpSensor e HttpTrigger no pacote Airflow providers http. O problema é que quando `response check` é fornecido, o sensor não adia para o trigger. Examine como o método `poke` do sensor decide adiar e como o trigger lida com a resposta. O usuário sugere adicionar um método `response check` ao HttpTrigger. Revise os triggers existentes que têm verificações semelhantes, como o BaseSensorOperator. Implemente `response check` no método `run` do trigger. Teste com um endpoint HTTP simples.
Pilha de tecnologia
python
Domain
backendapi
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonAirflow
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70