apache/airflow

Databricks: sensor for jobs

Open

#21.379 geöffnet am 7. Feb. 2022

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Python (16.781 Forks)batch import
area:providersgood first issuekind:featureprovider:databricks

Repository-Metriken

Stars
 (44.809 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 7T 18h) (834 gemergte PRs in 30 T)

Beschreibung

Description

A sensor which allows waiting for completion of a Databricks job or task.

Use case/motivation

We would like to make it easy to wait for a Databricks job, similar to how ExternalTaskSensor allows waiting for other Airflow tasks. Specifically, we’d like to support waiting for:

  • A specific job run to complete
  • A specific task of a job run to complete

The state of job runs can be queried via the JobRunsGet API.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Contributor Guide

Research-Richtung
Implementieren Sie einen Sensor, der die Databricks JobRunsGet API abfragt, um den Jobausführungsstatus zu überprüfen. Orientieren Sie sich an vorhandenen Airflow Sensoren.
Tech Stack
python
Domain
backenddevops
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonAirflowREST API
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50