apache/airflow

Enable Streaming from SFTP to GCS in `SFTPToGCSOperator`

Open

#34,995 创建于 2023年10月17日

在 GitHub 查看
 (9 评论) (0 反应) (0 负责人)Python (16,781 fork)batch import
area:providersgood first issuekind:featureprovider:googleprovider:sftp

仓库指标

Star
 (44,809 star)
PR 合并指标
 (平均合并 7天 18小时) (30 天内合并 834 个 PR)

描述

Description

The current SFTPToGCSOperator in Airflow does not support streaming objects directly from SFTP to Google Cloud Storage (GCS). This design poses a challenge since both Composer and Airflow best practices recommend against assigning large amounts of memory to workers. Transferring sizeable files from SFTP to GCS without streaming can potentially max out worker memory.

Use case/motivation

Prevent worker memory exhaustion, especially when dealing with large files.

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

贡献者指南

研究方向
研究 airflow/providers/google/cloud/transfers/sftp to gcs.py 中 SFTPToGCSOperator 的当前实现。考虑使用 paramiko 的 SFTPClient.getfo 和 google cloud storage 的 Blob.upload from file 配合 BytesIO 缓冲区来流式传输数据。查看 issue 中的评论以获取任何设计建议。测试流式处理方法，确保其能处理大文件且无内存问题。
技术栈
pythongcp
领域
backend
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-2 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
PythonApache AirflowGoogle Cloud Storage
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
70