apache/airflow

Databricks: sensor for jobs

Open

#21.379 aperta il 7 feb 2022

Vedi su GitHub
 (3 commenti) (0 reazioni) (1 assegnatario)Python (16.781 fork)batch import
area:providersgood first issuekind:featureprovider:databricks

Metriche repository

Star
 (44.809 star)
Metriche merge PR
 (Merge medio 7g 18h) (834 PR mergiate in 30 g)

Descrizione

Description

A sensor which allows waiting for completion of a Databricks job or task.

Use case/motivation

We would like to make it easy to wait for a Databricks job, similar to how ExternalTaskSensor allows waiting for other Airflow tasks. Specifically, we’d like to support waiting for:

  • A specific job run to complete
  • A specific task of a job run to complete

The state of job runs can be queried via the JobRunsGet API.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Implementa un sensore che esegue il polling dell'API JobRunsGet di Databricks per verificare lo stato dell'esecuzione del job. Fare riferimento ai sensori Airflow esistenti come modello.
Tech stack
python
Dominio
backenddevops
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonAirflowREST API
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50