nsqio/nsq

nsqd: Use Klaus Post's compression libraries

Open

#1 484 ouverte le 15 avr. 2024

Voir sur GitHub
 (5 commentaires) (1 réaction) (0 assignés)Go (2 898 forks)batch import
help wantedperf

Métriques du dépôt

Stars
 (25 788 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

We would quite like to use compression with NSQ to save on data transfer costs, but the CPU impact is higher than we'd like. Our experiments have shown that Klaus Post's compression libraries perform much better than the standard library Deflate and Google's Snappy, with the sweet spot appearing to be level 3 flate compressing our traffic to about 25% of its original size, but only incurring a CPU cost equivalent to Snappy.

Would there be any interest in taking a PR that makes this change?

Guide contributeur

Direction de recherche
Localisez l'implémentation de la compression dans le code de nsqd, évaluez klauspost/compress comme remplacement, implémentez et testez les performances.
Stack technique
go
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Go
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75