nsqio/nsq

nsqd: Use Klaus Post's compression libraries

Open

#1484 aperta il 15 apr 2024

Vedi su GitHub
 (5 commenti) (1 reazione) (0 assegnatari)Go (2898 fork)batch import
help wantedperf

Metriche repository

Star
 (25.788 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

We would quite like to use compression with NSQ to save on data transfer costs, but the CPU impact is higher than we'd like. Our experiments have shown that Klaus Post's compression libraries perform much better than the standard library Deflate and Google's Snappy, with the sweet spot appearing to be level 3 flate compressing our traffic to about 25% of its original size, but only incurring a CPU cost equivalent to Snappy.

Would there be any interest in taking a PR that makes this change?

Guida contributor

Direzione di ricerca
Individuare l'implementazione della compressione nel codice di nsqd, valutare klauspost/compress come sostituto, implementare e testare le prestazioni.
Tech stack
go
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Go
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75