apache/seatunnel

[Feature][Ossfile] 期望确实能提高单cvs文件的并行度

Open

#9768 aperta il 26 ago 2025

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Java (1432 fork)batch import
help wanted

Metriche repository

Star
 (6897 star)
Metriche merge PR
 (Merge medio 13g 21h) (143 PR mergiate in 30 g)

Descrizione

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

作为源端时，目前csv文件记录数为两百万+的时候，跑的速度很慢，要十几分钟是最乐观的，能不能先把这个csv文件切成多个小csv文件，然后并行读写

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Esamina l'implementazione corrente della sorgente CSV in Seatunnel, identifica come viene gestita la parallelizzazione e proponi una strategia per suddividere il file CSV in blocchi che possano essere letti in parallelo da più thread.
Tech stack
java
Dominio
databackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Java
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50