Java compression codecs do not release compressed ArrowBuf in decompress, causing allocator leaks

Ouverte
#1,037 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
1-2 jours
Accessibilité débutants
55/100
Type d'issue
Bug
Clarté
Plutôt claire
Activité
À l'abandon
Stack technique
java
Domaine
data

Piste de recherche

Repérer le chemin de décompression du codec de compression contenant loadFieldBuffers, la boucle de décompression et ownBuffers. Déplacer la boucle sous le nettoyage try-finally existant, puis vérifier qu’un échec après la décompression de tampons précédents laisse le BufferAllocator avec zéro mémoire allouée, tandis que le chemin de réussite conserve toujours les tampons dans le vecteur de champs.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Type: bug
bug

When using Arrow Java’s compression codecs (e.g. ZSTD) from downstream projects, we observed that an OutOfMemoryError: Direct buffer memory during decompression can leave the associated BufferAllocator in a leaked state (its allocated memory never returns to zero after the failing operation).

In our case this surfaced in Apache Fluss (see apache/fluss#2646), but after investigation the root cause appears to be in Arrow Java’s compression codec implementation:

Image
version

18.3.0

Solve

In the original Arrow implementation, the decompression loop runs outside the try-finally block that guards loadFieldBuffers. This means if decompression succeeds for the first N buffers of a field but fails on the (N+1)-th buffer, the already-decompressed buffers in ownBuffers are never closed, leaking Direct Memory.

To fix it, move the decompression loop inside the try block so that the finally clause always closes every buffer in ownBuffers, regardless of whether the load succeeds or fails:

  • Success path: loadFieldBuffers retains each buffer (ref count +1), then the finally close decrements it back (ref count -1). The field vector still holds the buffer.
  • Error path: The finally close decrements each already-decompressed buffer's ref count to 0, immediately freeing the Direct Memory.
Langage dominant
Java
Étoiles
95
Forks
154
Merge moyen
2 j 10 h
PR mergées (30 j)
11

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de apache/arrow-java

Toutes les issues de apache/arrow-java

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.