apache/arrow-java

Performance concern: fillHoles() method and read buffer expansion efficiency.

Aberta

#599 aberto em 10 de fev. de 2025

Ver no GitHubGuia do colaborador
 (9 comentários) (3 reações) (0 responsável)Java (132 forks)auto 404
Type: enhancementhelp wanted

Métricas do repositório

Stars
 (89 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Hi everyone,

I have the following use case: I’m benchmarking the read throughput performance when dealing with a large number of non-dictionary string columns (300 columns). Based on the profiler output (see the attached picture), I’ve noticed that a significant amount of time is spent in the fillHoles() method, which is part of the read buffer expansion process.

My question is: why is the buffer filled one element at a time instead of using a bulk operation? Wouldn’t a batch approach be more efficient?

Looking forward to your insights. Thanks!

Image

Guia do colaborador

Direção de pesquisa
Investigue o método fillHoles() no contexto da expansão do buffer de leitura. Analise por que ele opera elemento por elemento e avalie a viabilidade de operações em lote para melhorar a taxa de transferência. Examine o código fonte relevante e considere abordagens alternativas.
Pilha de tecnologia
java
Domain
data
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaApache ArrowPerformance Profiling
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60