apache/airflow

Enable Streaming from SFTP to GCS in `SFTPToGCSOperator`

Open

#34 995 ouverte le 17 oct. 2023

Voir sur GitHub
 (9 commentaires) (0 réactions) (0 assignés)Python (16 781 forks)batch import
area:providersgood first issuekind:featureprovider:googleprovider:sftp

Métriques du dépôt

Stars
 (44 809 stars)
Métriques de merge PR
 (Merge moyen 7j 18h) (834 PRs mergées en 30 j)

Description

Description

The current SFTPToGCSOperator in Airflow does not support streaming objects directly from SFTP to Google Cloud Storage (GCS). This design poses a challenge since both Composer and Airflow best practices recommend against assigning large amounts of memory to workers. Transferring sizeable files from SFTP to GCS without streaming can potentially max out worker memory.

Use case/motivation

Prevent worker memory exhaustion, especially when dealing with large files.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guide contributeur

Direction de recherche
Étudiez l'implémentation actuelle de SFTPToGCSOperator dans airflow/providers/google/cloud/transfers/sftp to gcs.py. Envisagez d'utiliser SFTPClient.getfo de paramiko et Blob.upload from file de google cloud storage avec un tampon BytesIO pour diffuser les données en flux. Consultez les commentaires dans l'issue pour toute suggestion de conception. Testez l'approche de streaming pour vous assurer qu'elle gère les fichiers volumineux sans problèmes de mémoire.
Stack technique
pythongcp
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonApache AirflowGoogle Cloud Storage
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70