apache/airflow

Add ability to interact with OpenSearch in AWS

Geschlossen

#39.378 geöffnet am 02.05.2024

Auf GitHub ansehenContributor Guide
 (5 Kommentare) (1 Reaktion) (0 zugewiesene Personen)Python (16.781 Forks)batch import
area:providersgood first issuekind:featureprovider:amazon

Repository-Metriken

Stars
 (44.809 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 7T 18h) (834 gemergte PRs in 30 T)

Beschreibung

Body

We have OpenSearch provider but currently it can't be used with AWS auth mechanisms. We need to create a version of it in AWS provider (overriding only that particular portion of the Hook)

This effort started in https://github.com/apache/airflow/pull/34693

Note this is about querying open search - it's not about submitting Airflow logs to open search (for that we have another task https://github.com/apache/airflow/issues/33619 )

Committer

  • I acknowledge that I am a maintainer/committer of the Apache Airflow project.

Contributor Guide

Research-Richtung
Review the existing OpenSearch provider in Airflow (likely under `airflow/providers/amazon/aws/hooks/opensearch.py`). Understand the current Hook implementation and how it handles authentication. Then examine the linked PR #34693 for prior work and specific changes needed. Create a new provider version under the AWS provider that inherits from the base OpenSearch hook and overrides the authentication method to support AWS IAM, possibly using `requests aws4auth` or boto3. Ensure compatibility with the existing tests and consider adding new tests for AWS auth.
Tech Stack
pythonaws
Domain
backendapicloudsearch
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonAirflow provider hooksAWS authenticationOpenSearch
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40