apache/seatunnel

[Feature][Ossfile] 期望确实能提高单cvs文件的并行度

Open

#9,768 建立於 2025年8月26日

在 GitHub 查看
 (2 留言) (0 反應) (1 負責人)Java (1,432 fork)batch import
help wanted

倉庫指標

Star
 (6,897 star)
PR 合併指標
 (平均合併 13天 21小時) (30 天內合併 143 個 PR)

描述

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

作为源端时，目前csv文件记录数为两百万+的时候，跑的速度很慢，要十几分钟是最乐观的，能不能先把这个csv文件切成多个小csv文件，然后并行读写

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

貢獻者指南

研究方向
研究Seatunnel中當前CSV源實現的並行管理方式，並提出一種將CSV檔案切分為多個區塊，以便多執行緒並行讀取的策略。
技術棧
java
領域
databackend
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
1-2 天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
大致清晰
前置要求
Java
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
50