ArrowBuf copying from GetReadableBuffer causes slowness

Ouverte

#835 ouverte le 3/9/2025 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté: 4/5
Temps estimé: 3-5 jours
Accessibilité débutants: 35/100

Type d'issue: Bug
Clarté: À clarifier
Activité: À l'abandon
Stack technique: java
Domaine: api, performance

Piste de recherche

Commencez par le chemin rapide de FlightRPC présenté dans l’issue, en suivant getReadableBuffer via ReadableBuffer.readBytes jusqu’à la destination ArrowBuf tout en comparant le flame graph signalé. Déterminez si la copie est nécessaire pour la gestion de la propriété ou de la mémoire, et documentez la cause ou une manière clairement prise en charge de l’éviter.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Type: usage

Describe the usage question you have. Please include as many useful details as possible.

I'm using Arrow Flight and discovered an extra copy action while testing performance impact.

ReadableBuffer readableBuffer = fastPath ? getReadableBuffer(stream) : null; if (readableBuffer != null) { readableBuffer.readBytes(buf.nioBuffer(0, size)); }

The flame graph shows that after enabling zero_copy, ArrowBuf copying from GetReadableBuffer causes slowness.
Why does this copy occur?
Or is it because arrowbuf needs to manage its own memory, so the ownership must be transferred from netty?

Component(s)

FlightRPC

Langage dominant: Java
Étoiles: 95
Forks: 154
Merge moyen: 2 j 10 h
PR mergées (30 j): 11

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

Lisez l'issue en entier, puis le guide de contribution du projet.
Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
Forkez le dépôt et travaillez sur une branche.
Ouvrez une pull request qui référence le numéro de l'issue.