apache/airflow

Enable Streaming from SFTP to GCS in `SFTPToGCSOperator`

Open

#34.995 aberto em 17 de out. de 2023

Ver no GitHub
 (9 comments) (0 reactions) (0 assignees)Python (16.781 forks)batch import
area:providersgood first issuekind:featureprovider:googleprovider:sftp

Métricas do repositório

Stars
 (44.809 stars)
Métricas de merge de PR
 (Mesclagem média 7d 18h) (834 fundiu PRs em 30d)

Description

Description

The current SFTPToGCSOperator in Airflow does not support streaming objects directly from SFTP to Google Cloud Storage (GCS). This design poses a challenge since both Composer and Airflow best practices recommend against assigning large amounts of memory to workers. Transferring sizeable files from SFTP to GCS without streaming can potentially max out worker memory.

Use case/motivation

Prevent worker memory exhaustion, especially when dealing with large files.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Investigue a implementação atual do SFTPToGCSOperator em airflow/providers/google/cloud/transfers/sftp to gcs.py. Considere usar SFTPClient.getfo do paramiko e Blob.upload from file do google cloud storage com um buffer BytesIO para transmitir dados em fluxo. Revise os comentários na issue para quaisquer sugestões de design. Teste a abordagem de streaming para garantir que ela lide com arquivos grandes sem problemas de memória.
Pilha de tecnologia
pythongcp
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonApache AirflowGoogle Cloud Storage
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70