vectordotdev/vector

MessagePack codec (or VRL functions)

Open

#8 675 ouverte le 12 août 2021

Voir sur GitHub
 (2 commentaires) (8 réactions) (0 assignés)Rust (21 837 stars) (2 126 forks)batch import
domain: codecsdomain: vrlgood first issuetype: featurevrl: stdlib

Description

We have a Kafka topic with msgpack events we would like to deserialize (and reserialize after some transformations in an other topic). Currently, we use Logstash for that with this plugin : https://github.com/logstash-plugins/logstash-codec-msgpack

It could be very useful to have a generic msgpack codec in Vector like for JSON format, maybe in the form of a pair VRL functions parse_msgpack / encode_msgpack ?

Guide contributeur

Stack technique
rustkafka
Domaine
backenddata
Type d'issue
feature
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 days
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
stale
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
Rust programmingVector codebase basicsMessagePack format
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40
Direction de recherche
Review existing codec implementations (e.g., JSON codec) in the Vector codebase, likely under src/codecs/. Consider using the rmp (rmp serde) crate for MessagePack serialization. If implementing VRL functions, examine the VRL standard library for existing parse/encode functions (e.g., parse json, encode json) and follow that pattern. Check issue comments for any additional requirements. No linked PRs or assignees, so the issue is open for contribution.