apache/seatunnel

[Feature][Ossfile] 期望确实能提高单cvs文件的并行度

Open

#9,768 创建于 2025年8月26日

在 GitHub 查看
 (2 评论) (0 反应) (1 负责人)Java (1,432 fork)batch import
help wanted

仓库指标

Star
 (6,897 star)
PR 合并指标
 (平均合并 13天 21小时) (30 天内合并 143 个 PR)

描述

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

作为源端时，目前csv文件记录数为两百万+的时候，跑的速度很慢，要十几分钟是最乐观的，能不能先把这个csv文件切成多个小csv文件，然后并行读写

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

贡献者指南

研究方向
研究Seatunnel中当前CSV源实现的并行管理方式，并提出一种将CSV文件切分为多个块，以便多线程并行读取的策略。
技术栈
java
领域
databackend
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-2 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
基本清晰
前置要求
Java
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
50