apache/airflow

AIP-82: Add common messaging system providers

Aberta

#52.712 aberto em 2 de jul. de 2025

Ver no GitHubGuia do colaborador
 (25 comentários) (2 reações) (0 responsável)Python (16.781 forks)batch import
AIP-82good first issuekind:featurekind:metaprovider:amazonprovider:googleprovider:microsoft-azureprovider:redis

Métricas do repositório

Stars
 (44.809 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Body

related: #49938

Why

Several users have pointed out that the Event-Driven Scheduling feature introduced in Airflow 3 currently supports only Amazon SQS.

So I add Kafka common message queue provider in #49938, but there are still quite a few common providers that should be useful for airflow users to implement Event-Driven workflows.

What

Here are some common messaging systems:

reference for implementation: https://github.com/apache/airflow/pull/49938/files

Committer

  • I acknowledge that I am a maintainer/committer of the Apache Airflow project.

Guia do colaborador

Direção de pesquisa
Esta issue é uma meta issue que lista provedores comuns de sistemas de mensagens para implementar para o recurso de Agendamento Orientado a Eventos. Vários provedores já têm PRs: Apache Kafka (#49938), Azure Message Bus (#53356), Google PubSub (#54494), Redis (#52917). Para adicionar um novo provedor como Amazon Kinesis ou Amazon MSK, siga o padrão no PR de referência #49938. Examine a estrutura do provedor em `airflow/providers/` e implemente a interface `CommonMessageQueue`. Certifique se de adicionar testes e documentação. Comente na issue para indicar em qual provedor você está trabalhando, a fim de evitar duplicação.
Pilha de tecnologia
python
Domain
backendapicloud
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonApache AirflowMessaging systems
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65