apache/airflow

Databricks: sensor for jobs

Aberta

#21.379 aberto em 7 de fev. de 2022

Ver no GitHubGuia do colaborador
 (3 comentários) (0 reação) (1 responsável)Python (16.781 forks)batch import
area:providersgood first issuekind:featureprovider:databricks

Métricas do repositório

Stars
 (44.809 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Description

A sensor which allows waiting for completion of a Databricks job or task.

Use case/motivation

We would like to make it easy to wait for a Databricks job, similar to how ExternalTaskSensor allows waiting for other Airflow tasks. Specifically, we’d like to support waiting for:

  • A specific job run to complete
  • A specific task of a job run to complete

The state of job runs can be queried via the JobRunsGet API.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Implemente um sensor que consulta a API JobRunsGet do Databricks para verificar o status da execução do job. Consulte os sensores existentes do Airflow como padrão.
Pilha de tecnologia
python
Domain
backenddevops
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonAirflowREST API
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50