apache/arrow-java

Performance concern: fillHoles() method and read buffer expansion efficiency.

Aperta

#599 aperta il 10 feb 2025

Vedi su GitHubGuida contributor
 (9 commenti) (3 reazioni) (0 assegnatari)Java (132 fork)auto 404
Type: enhancementhelp wanted

Metriche repository

Star
 (89 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Hi everyone,

I have the following use case: I’m benchmarking the read throughput performance when dealing with a large number of non-dictionary string columns (300 columns). Based on the profiler output (see the attached picture), I’ve noticed that a significant amount of time is spent in the fillHoles() method, which is part of the read buffer expansion process.

My question is: why is the buffer filled one element at a time instead of using a bulk operation? Wouldn’t a batch approach be more efficient?

Looking forward to your insights. Thanks!

Image

Guida contributor

Direzione di ricerca
Indaga il metodo fillHoles() nel contesto dell'espansione del buffer di lettura. Analizza perché opera elemento per elemento e valuta la fattibilità di operazioni batch per migliorare il throughput. Esamina il codice sorgente pertinente e considera approcci alternativi.
Tech stack
java
Dominio
data
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaApache ArrowPerformance Profiling
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60