AIP-82: Add common messaging system providers · apache/airflow#52712

Metriche repository

Star: (44.809 star)
Metriche merge PR: (Merge medio 7g 18h) (834 PR mergiate in 30 g)

Descrizione

Body

related: #49938

Why

Several users have pointed out that the Event-Driven Scheduling feature introduced in Airflow 3 currently supports only Amazon SQS.

So I add Kafka common message queue provider in #49938, but there are still quite a few common providers that should be useful for airflow users to implement Event-Driven workflows.

What

Here are some common messaging systems:

Amazon Kinesis
Amazon MSK
Amazon SQS
Apache Kafka
Azure Message Bus
- Trigger: https://github.com/apache/airflow/pull/53356
- CommonMessageQueue Interface
Google PubSub https://github.com/apache/airflow/pull/54494
Redis https://github.com/apache/airflow/pull/52917

reference for implementation: https://github.com/apache/airflow/pull/49938/files

Committer

I acknowledge that I am a maintainer/committer of the Apache Airflow project.

Guida contributor

Direzione di ricerca: Questa issue è una meta issue che elenca i provider comuni di sistemi di messaggistica da implementare per la funzionalità di Pianificazione Guidata da Eventi. Diversi provider hanno già PR: Apache Kafka (#49938), Azure Message Bus (#53356), Google PubSub (#54494), Redis (#52917). Per aggiungere un nuovo provider come Amazon Kinesis o Amazon MSK, seguire il modello nel PR di riferimento #49938. Esaminare la struttura del provider in `airflow/providers/` e implementare l'interfaccia `CommonMessageQueue`. Assicurarsi di aggiungere test e documentazione. Commentare l'issue per indicare su quale provider si sta lavorando, per evitare duplicazioni.
Tech stack: python
Dominio: backendapicloud
Tipo issue: Funzionalità
Difficoltà: 3
Tempo stimato: Mezza giornata
Stato attività: Attiva
Chiarezza: Abbastanza chiara
Prerequisiti: PythonApache AirflowMessaging systems
Adatta ai principianti: 65