apache/seatunnel

[Feature][Ossfile] 期望确实能提高单cvs文件的并行度

Open

#9.768 aberto em 26 de ago. de 2025

Ver no GitHub
 (2 comments) (0 reactions) (1 assignee)Java (1.432 forks)batch import
help wanted

Métricas do repositório

Stars
 (6.897 stars)
Métricas de merge de PR
 (Mesclagem média 13d 21h) (143 fundiu PRs em 30d)

Description

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

作为源端时，目前csv文件记录数为两百万+的时候，跑的速度很慢，要十几分钟是最乐观的，能不能先把这个csv文件切成多个小csv文件，然后并行读写

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Investigue a implementação atual da fonte CSV no Seatunnel, identifique como o paralelismo é gerenciado e proponha uma estratégia para dividir o arquivo CSV em partes que possam ser lidas em paralelo por várias threads.
Pilha de tecnologia
java
Domain
databackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
Java
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50