apache/airflow

Add parameter `deferrable` to `AzureBatchOperator`

Fechada

#59.779 aberto em 24 de dez. de 2025

Ver no GitHubGuia do colaborador
 (6 comentários) (0 reação) (0 responsável)Python (16.781 forks)batch import
area:async-operatorsgood first issuekind:feature

Métricas do repositório

Stars
 (44.809 estrelas)
Métricas de merge de PR
 (Mesclagem média 7d 18h) (834 fundiu PRs em 30d)

Description

Description

The AzureBatchOperator currently has no option to set it to deferrable, which would allow the task to be run by an async low-resource worker ("triggerer"). Therefore Azure Batch tasks block a regular worker, even though they only ping the Azure platform from time to time.

I propose to add this parameter and changing the operator to use asynchronous calls.

As a reference, the AWS Batch operator has a parameter deferrable.

Use case/motivation

Adding this parameter and changing the operator to use asynchronous calls would reduce resource consumption when using Azure Batch.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Review the current implementation of `AzureBatchOperator` in the Airflow source code, likely located in the `airflow/providers/azure/transfers/` directory. Study the AWS Batch operator's implementation of the `deferrable` parameter and its use of async calls. Examine the triggerer architecture in Airflow documentation. Ensure that adding deferrable support does not break existing synchronous usage.
Pilha de tecnologia
python
Domain
backendcloud
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Python programmingAirflow basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65