Add Buffer Management to SnappyInput Stream

Aperta
#274 1 commento 1 reazione 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
42/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
java
Ambito
backend

Direzione di ricerca

Start by comparing buffer management in SnappyOutputStream with the allocation paths in SnappyInputStream, for both chunked and raw input. The issue does not name specific files or tests; locate the relevant implementations and tests, then check that the input stream uses the BufferAllocator and that both variants still work while reducing buffer allocation.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

help wanted

SnappyOutputStream uses a buffer management system to reduce memory pressure and GC overhead. The same mechanism would be helpful in SnappyInputStream as well.

We want to use Snappy for protocol compression in a high volume system. Currently we can see a significant increase in GC overhead due to the massive amount of buffers being allocated in SnappyInputStream. Adding the same BufferAllocator as in SnappyOutputStream would help to significantly reduce the amount of allocated memory.

Btw: we use both variants, the chunked one generated by SnappyOutputStream and the raw one used by a native Snappy implementation.

Lingua principale
Java
Stelle
1.1k
Fork
261
Merge medio
2m
PR unite (30g)
2

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di xerial/snappy-java

Tutte le issue di xerial/snappy-java

Issue simili

Altre issue su Java

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.