apache/arrow-java

Performance concern: fillHoles() method and read buffer expansion efficiency.

Offen

#599 geöffnet am 10.02.2025

Auf GitHub ansehenContributor Guide
 (9 Kommentare) (3 Reaktionen) (0 zugewiesene Personen)Java (132 Forks)auto 404
Type: enhancementhelp wanted

Repository-Metriken

Stars
 (89 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Hi everyone,

I have the following use case: I’m benchmarking the read throughput performance when dealing with a large number of non-dictionary string columns (300 columns). Based on the profiler output (see the attached picture), I’ve noticed that a significant amount of time is spent in the fillHoles() method, which is part of the read buffer expansion process.

My question is: why is the buffer filled one element at a time instead of using a bulk operation? Wouldn’t a batch approach be more efficient?

Looking forward to your insights. Thanks!

Image

Contributor Guide

Research-Richtung
Untersuchen Sie die fillHoles() Methode im Kontext der Lese Puffererweiterung. Analysieren Sie, warum sie elementweise arbeitet, und bewerten Sie die Machbarkeit von Batch Operationen zur Verbesserung des Durchsatzes. Überprüfen Sie den entsprechenden Quellcode und ziehen Sie alternative Ansätze in Betracht.
Tech Stack
java
Domain
data
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JavaApache ArrowPerformance Profiling
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60