Add Buffer Management to SnappyInput Stream

Ouverte
#274 1 commentaire 1 réaction 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
42/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
À l'abandon
Stack technique
java
Domaine
backend

Piste de recherche

Start by comparing buffer management in SnappyOutputStream with the allocation paths in SnappyInputStream, for both chunked and raw input. The issue does not name specific files or tests; locate the relevant implementations and tests, then check that the input stream uses the BufferAllocator and that both variants still work while reducing buffer allocation.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

help wanted

SnappyOutputStream uses a buffer management system to reduce memory pressure and GC overhead. The same mechanism would be helpful in SnappyInputStream as well.

We want to use Snappy for protocol compression in a high volume system. Currently we can see a significant increase in GC overhead due to the massive amount of buffers being allocated in SnappyInputStream. Adding the same BufferAllocator as in SnappyOutputStream would help to significantly reduce the amount of allocated memory.

Btw: we use both variants, the chunked one generated by SnappyOutputStream and the raw one used by a native Snappy implementation.

Langage dominant
Java
Étoiles
1.1k
Forks
261
Merge moyen
2 min
PR mergées (30 j)
2

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de xerial/snappy-java

Toutes les issues de xerial/snappy-java

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.