vectordotdev/vector

Allow specifying the object key in the `aws_s3` sink

Open

#6.929 aberto em 30 de mar. de 2021

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Rust (2.126 forks)batch import
good first issuesink: aws_s3type: enhancement

Métricas do repositório

Stars
 (21.837 stars)
Métricas de merge de PR
 (Mesclagem média 8d 16h) (110 fundiu PRs em 30d)

Description

Requested by user migrating from fluentd.

Currently, we expose some configuration knobs for the object prefix + key for the aws_s3 sink:

  filename_append_uuid = true # optional, default
  filename_extension = "log" # optional, default
  filename_time_format = "%s" # optional, default
  key_prefix = "date=%F/" # optional, default

However there is no way to directly set the key. Ideally this could be templated from the event (like key = "{{ host }}"). This would affect internal partitioning of events across S3 requests. It is likely we'll still want to support formatting the timestamp as part of that, as well.

Ref: fluentd's s3 output: https://docs.fluentd.org/output/s3#s-3-_object_key_format

Guia do colaborador

Direção de pesquisa
Revise a configuração atual do sink aws s3, especialmente as opções key prefix e filename, e entenda como os modelos são usados em outros lugares no Vector. Em seguida, implemente uma nova opção 'key' que pode ser modelada a partir do evento, semelhante ao object key format do fluentd.
Pilha de tecnologia
rust
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
RustGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70