apache/airflow

Deferrable HttpSensor does not move to Triggerer when using `response_check`

Open

#40 209 ouverte le 13 juin 2024

Voir sur GitHub
 (5 commentaires) (0 réactions) (1 assigné)Python (16 781 forks)batch import
contributors-workshopgood first issuekind:bugprovider:http

Métriques du dépôt

Stars
 (44 809 stars)
Métriques de merge PR
 (Merge moyen 7j 18h) (834 PRs mergées en 30 j)

Description

Discussed in https://github.com/apache/airflow/discussions/39597

Originally posted by bejota May 13, 2024 Hello, I'm using HttpSensor to poll SLURM's REST API for job status. I'm using deferrable mode with response_check. The task only goes to the triggerer if I remove the response_check.

Airflow Docker Image apache/airflow:latest-python3.9 Airflow Version 2.9.0 apache-airflow-providers-http 4.10.0

Does not move to triggerer:

check_slurm_job = HttpSensor(
    task_id="check_slurm_job",
    http_conn_id="slurm_conn_id",
    method="get",
    endpoint="slurm/v0.0.40/job/999",
    response_check=lambda response: "COMPLETED" in response.text,
    poke_interval=10,
    timeout=60 * 60 * 5,
    deferrable=True,  # not deferring to triggerer ?
    dag=dag,
)

Moves to triggerer:

check_slurm_job = HttpSensor(
    task_id="check_slurm_job",
    http_conn_id="slurm_conn_id",
    method="get",
    endpoint="slurm/v0.0.40/job/999",
    # response_check=lambda response: "COMPLETED" in response.text,
    poke_interval=10,
    timeout=60 * 60 * 5,
    deferrable=True,  # not deferring to triggerer ?
    dag=dag,
)

In digging further, I see that HttpTrigger has no response_check method. I will attempt to add one, unless there is a better approach to this problem?

Guide contributeur

Direction de recherche
Étudiez les classes HttpSensor et HttpTrigger dans le package Airflow providers http. Le problème est que lorsque `response check` est fourni, le capteur ne diffère pas vers le déclencheur. Examinez comment la méthode `poke` du capteur décide de différer et comment le déclencheur gère la réponse. L'utilisateur suggère d'ajouter une méthode `response check` à HttpTrigger. Passez en revue les déclencheurs existants ayant des vérifications similaires, comme BaseSensorOperator. Implémentez `response check` dans la méthode `run` du déclencheur. Testez avec un simple point de terminaison HTTP.
Stack technique
python
Domaine
backendapi
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonAirflow
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70