apache/airflow

Enable Streaming from SFTP to GCS in `SFTPToGCSOperator`

Open

#34.995 aperta il 17 ott 2023

Vedi su GitHub
 (9 commenti) (0 reazioni) (0 assegnatari)Python (16.781 fork)batch import
area:providersgood first issuekind:featureprovider:googleprovider:sftp

Metriche repository

Star
 (44.809 star)
Metriche merge PR
 (Merge medio 7g 18h) (834 PR mergiate in 30 g)

Descrizione

Description

The current SFTPToGCSOperator in Airflow does not support streaming objects directly from SFTP to Google Cloud Storage (GCS). This design poses a challenge since both Composer and Airflow best practices recommend against assigning large amounts of memory to workers. Transferring sizeable files from SFTP to GCS without streaming can potentially max out worker memory.

Use case/motivation

Prevent worker memory exhaustion, especially when dealing with large files.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Indaga l'implementazione corrente di SFTPToGCSOperator in airflow/providers/google/cloud/transfers/sftp to gcs.py. Considera l'uso di SFTPClient.getfo di paramiko e Blob.upload from file di google cloud storage con un buffer BytesIO per trasmettere i dati in streaming. Rivedi i commenti nell'issue per eventuali suggerimenti di progettazione. Testa l'approccio in streaming per assicurarti che gestisca file di grandi dimensioni senza problemi di memoria.
Tech stack
pythongcp
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonApache AirflowGoogle Cloud Storage
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70