apache/airflow

AIP-82: Add common messaging system providers

Open

#52.712 geöffnet am 2. Juli 2025

Auf GitHub ansehen
 (25 Kommentare) (2 Reaktionen) (0 zugewiesene Personen)Python (16.781 Forks)batch import
AIP-82good first issuekind:featurekind:metaprovider:amazonprovider:googleprovider:microsoft-azureprovider:redis

Repository-Metriken

Stars
 (44.809 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 7T 18h) (834 gemergte PRs in 30 T)

Beschreibung

Body

related: #49938

Why

Several users have pointed out that the Event-Driven Scheduling feature introduced in Airflow 3 currently supports only Amazon SQS.

So I add Kafka common message queue provider in #49938, but there are still quite a few common providers that should be useful for airflow users to implement Event-Driven workflows.

What

Here are some common messaging systems:

reference for implementation: https://github.com/apache/airflow/pull/49938/files

Committer

  • I acknowledge that I am a maintainer/committer of the Apache Airflow project.

Contributor Guide

Research-Richtung
Dieses Issue ist ein Meta Issue, das gängige Messaging Systemanbieter auflistet, die für die Event Driven Scheduling Funktion implementiert werden sollen. Mehrere Anbieter haben bereits PRs: Apache Kafka (#49938), Azure Message Bus (#53356), Google PubSub (#54494), Redis (#52917). Um einen neuen Anbieter wie Amazon Kinesis oder Amazon MSK hinzuzufügen, folgen Sie dem Muster im Referenz PR #49938. Untersuchen Sie die Anbieterstruktur in `airflow/providers/` und implementieren Sie die `CommonMessageQueue` Schnittstelle. Stellen Sie sicher, Tests und Dokumentation hinzuzufügen. Kommentieren Sie das Issue, um anzugeben, an welchem Anbieter Sie arbeiten, um Doppelarbeit zu vermeiden.
Tech Stack
python
Domain
backendapicloud
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonApache AirflowMessaging systems
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65