apache/airflow

AIP-82: Add common messaging system providers

Open

#52 712 ouverte le 2 juil. 2025

Voir sur GitHub
 (25 commentaires) (2 réactions) (0 assignés)Python (16 781 forks)batch import
AIP-82good first issuekind:featurekind:metaprovider:amazonprovider:googleprovider:microsoft-azureprovider:redis

Métriques du dépôt

Stars
 (44 809 stars)
Métriques de merge PR
 (Merge moyen 7j 18h) (834 PRs mergées en 30 j)

Description

Body

related: #49938

Why

Several users have pointed out that the Event-Driven Scheduling feature introduced in Airflow 3 currently supports only Amazon SQS.

So I add Kafka common message queue provider in #49938, but there are still quite a few common providers that should be useful for airflow users to implement Event-Driven workflows.

What

Here are some common messaging systems:

reference for implementation: https://github.com/apache/airflow/pull/49938/files

Committer

  • I acknowledge that I am a maintainer/committer of the Apache Airflow project.

Guide contributeur

Direction de recherche
Cette issue est une méta issue qui répertorie les fournisseurs courants de systèmes de messagerie à implémenter pour la fonctionnalité de Planification Pilotée par Événements. Plusieurs fournisseurs ont déjà des PR : Apache Kafka (#49938), Azure Message Bus (#53356), Google PubSub (#54494), Redis (#52917). Pour ajouter un nouveau fournisseur comme Amazon Kinesis ou Amazon MSK, suivez le modèle dans la PR de référence #49938. Examinez la structure du fournisseur dans `airflow/providers/` et implémentez l'interface `CommonMessageQueue`. Assurez vous d'ajouter des tests et de la documentation. Commentez l'issue pour indiquer sur quel fournisseur vous travaillez, afin d'éviter les doublons.
Stack technique
python
Domaine
backendapicloud
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonApache AirflowMessaging systems
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65