ArrowBuf copying from GetReadableBuffer causes slowness

Aperta

#835 aperta il 3/9/2025 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà: 4/5
Tempo stimato: 3-5 giorni
Idoneità per principianti: 35/100

Tipo di issue: Bug
Chiarezza: Da chiarire
Stato di attività: Ferma
Stack tecnologico: java
Ambito: api, performance

Direzione di ricerca

Inizia con il percorso rapido di FlightRPC mostrato nell’issue, seguendo getReadableBuffer attraverso ReadableBuffer.readBytes fino alla destinazione ArrowBuf e confrontandolo con il flame graph riportato. Determina se la copia è necessaria per la gestione della proprietà o della memoria e documenta la causa o un modo chiaramente supportato per evitarla.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Type: usage

Describe the usage question you have. Please include as many useful details as possible.

I'm using Arrow Flight and discovered an extra copy action while testing performance impact.

ReadableBuffer readableBuffer = fastPath ? getReadableBuffer(stream) : null; if (readableBuffer != null) { readableBuffer.readBytes(buf.nioBuffer(0, size)); }

The flame graph shows that after enabling zero_copy, ArrowBuf copying from GetReadableBuffer causes slowness.
Why does this copy occur?
Or is it because arrowbuf needs to manage its own memory, so the ownership must be transferred from netty?

Component(s)

FlightRPC

Lingua principale: Java
Stelle: 95
Fork: 154
Merge medio: 2g 10h
PR unite (30g): 11

Guida per i contributori

Apri la guida per i contributori

Come iniziare

Leggi tutta la issue e poi la guida ai contributi del progetto.
Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
Fai un fork del repository e lavora su un branch.
Apri una pull request che faccia riferimento al numero della issue.