apache/seatunnel

[Feature][Ossfile] 期望确实能提高单cvs文件的并行度

Open

#9.768 geöffnet am 26. Aug. 2025

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Java (1.432 Forks)batch import
help wanted

Repository-Metriken

Stars
 (6.897 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 13T 21h) (143 gemergte PRs in 30 T)

Beschreibung

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

作为源端时，目前csv文件记录数为两百万+的时候，跑的速度很慢，要十几分钟是最乐观的，能不能先把这个csv文件切成多个小csv文件，然后并行读写

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Contributor Guide

Research-Richtung
Untersuchen Sie die aktuelle CSV Quellimplementierung in Seatunnel, identifizieren Sie, wie die Parallelität verwaltet wird, und schlagen Sie eine Strategie vor, um die CSV Datei in Blöcke aufzuteilen, die von mehreren Threads parallel gelesen werden können.
Tech Stack
java
Domain
databackend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Java
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50