apache/seatunnel

[Feature][Ossfile] 期望确实能提高单cvs文件的并行度

Open

#9 768 ouverte le 26 août 2025

Voir sur GitHub
 (2 commentaires) (0 réactions) (1 assigné)Java (1 432 forks)batch import
help wanted

Métriques du dépôt

Stars
 (6 897 stars)
Métriques de merge PR
 (Merge moyen 13j 21h) (143 PRs mergées en 30 j)

Description

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

作为源端时，目前csv文件记录数为两百万+的时候，跑的速度很慢，要十几分钟是最乐观的，能不能先把这个csv文件切成多个小csv文件，然后并行读写

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guide contributeur

Direction de recherche
Examinez l'implémentation actuelle de la source CSV dans Seatunnel, identifiez comment la parallélisation est gérée et proposez une stratégie pour diviser le fichier CSV en morceaux pouvant être lus en parallèle par plusieurs threads.
Stack technique
java
Domaine
databackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Java
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50