vectordotdev/vector

MessagePack codec (or VRL functions)

Open

#8.675 aberto em 12 de ago. de 2021

Ver no GitHub
 (2 comments) (8 reactions) (0 assignees)Rust (21.837 stars) (2.126 forks)batch import
domain: codecsdomain: vrlgood first issuetype: featurevrl: stdlib

Description

We have a Kafka topic with msgpack events we would like to deserialize (and reserialize after some transformations in an other topic). Currently, we use Logstash for that with this plugin : https://github.com/logstash-plugins/logstash-codec-msgpack

It could be very useful to have a generic msgpack codec in Vector like for JSON format, maybe in the form of a pair VRL functions parse_msgpack / encode_msgpack ?

Guia do colaborador

Pilha de tecnologia
rustkafka
Domain
backenddata
Tipo Issue
feature
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 days
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
clear
Prerequisites
Rust programmingVector codebase basicsMessagePack format
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40
Direção de pesquisa
Review existing codec implementations (e.g., JSON codec) in the Vector codebase, likely under src/codecs/. Consider using the rmp (rmp serde) crate for MessagePack serialization. If implementing VRL functions, examine the VRL standard library for existing parse/encode functions (e.g., parse json, encode json) and follow that pattern. Check issue comments for any additional requirements. No linked PRs or assignees, so the issue is open for contribution.