apache/arrow-java

Performance concern: fillHoles() method and read buffer expansion efficiency.

Ouverte

#599 ouverte le 10 févr. 2025

Voir sur GitHubGuide contributeur
 (9 commentaires) (3 réactions) (0 personne assignée)Java (132 forks)auto 404
Type: enhancementhelp wanted

Métriques du dépôt

Stars
 (89 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Hi everyone,

I have the following use case: I’m benchmarking the read throughput performance when dealing with a large number of non-dictionary string columns (300 columns). Based on the profiler output (see the attached picture), I’ve noticed that a significant amount of time is spent in the fillHoles() method, which is part of the read buffer expansion process.

My question is: why is the buffer filled one element at a time instead of using a bulk operation? Wouldn’t a batch approach be more efficient?

Looking forward to your insights. Thanks!

Image

Guide contributeur

Direction de recherche
Examinez la méthode fillHoles() dans le contexte de l'expansion du tampon de lecture. Analysez pourquoi elle fonctionne élément par élément et évaluez la faisabilité d'opérations par lots pour améliorer le débit. Examinez le code source pertinent et envisagez des approches alternatives.
Stack technique
java
Domaine
data
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
JavaApache ArrowPerformance Profiling
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60