ArrowBuf copying from GetReadableBuffer causes slowness

Offen

#835 erstellt am 03.9.2025 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 35/100

Issue-Typ: Bug
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: java
Bereich: api, performance

Rechercherichtung

Beginne mit dem im Issue gezeigten FlightRPC-Schnellpfad, verfolge getReadableBuffer über ReadableBuffer.readBytes bis zum ArrowBuf-Ziel und vergleiche dabei das gemeldete Flammendiagramm. Ermittle, ob die Kopie für die Besitzübertragung oder die Speicherverwaltung erforderlich ist, und dokumentiere die Ursache oder eine eindeutig unterstützte Möglichkeit, sie zu vermeiden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Type: usage

Describe the usage question you have. Please include as many useful details as possible.

I'm using Arrow Flight and discovered an extra copy action while testing performance impact.

ReadableBuffer readableBuffer = fastPath ? getReadableBuffer(stream) : null; if (readableBuffer != null) { readableBuffer.readBytes(buf.nioBuffer(0, size)); }

The flame graph shows that after enabling zero_copy, ArrowBuf copying from GetReadableBuffer causes slowness.
Why does this copy occur?
Or is it because arrowbuf needs to manage its own memory, so the ownership must be transferred from netty?

Component(s)

FlightRPC

Vorherrschende Sprache: Java
Sterne: 95
Forks: 154
Ø Merge: 2 T. 10 Std.
Gemergte PRs (30 T.): 11

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/arrow-java

DictionaryEncoder.decode accepts out-of-range dictionary indices Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100

apache/arrow-java#1261 · Erstellt am 18.8.2026
ArrowFlightJdbcArray.getArray(index, count) can read past the end of the array slice Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/arrow-java#1236 · Erstellt am 20.7.2026
[Java][JDBC] ClobConsumer writes past VarCharVector data buffer for large CLOBs Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/arrow-java#1230 · Erstellt am 15.7.2026
Byte-array elements leak in `FromSchemaByteArray()` Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100

apache/arrow-java#1205 · Erstellt am 04.7.2026
[Java][IPC] AbstractCompressionCodec.compress() writes prefix=0 for empty buffers, incompatible with C++/Python readers Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

apache/arrow-java#1196 · 1 Kommentar · Erstellt am 29.6.2026

Alle Issues in apache/arrow-java