vectordotdev/vector

Allow specifying the object key in the `aws_s3` sink

Open

#6 929 ouverte le 30 mars 2021

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Rust (2 126 forks)batch import
good first issuesink: aws_s3type: enhancement

Métriques du dépôt

Stars
 (21 837 stars)
Métriques de merge PR
 (Merge moyen 8j 16h) (110 PRs mergées en 30 j)

Description

Requested by user migrating from fluentd.

Currently, we expose some configuration knobs for the object prefix + key for the aws_s3 sink:

  filename_append_uuid = true # optional, default
  filename_extension = "log" # optional, default
  filename_time_format = "%s" # optional, default
  key_prefix = "date=%F/" # optional, default

However there is no way to directly set the key. Ideally this could be templated from the event (like key = "{{ host }}"). This would affect internal partitioning of events across S3 requests. It is likely we'll still want to support formatting the timestamp as part of that, as well.

Ref: fluentd's s3 output: https://docs.fluentd.org/output/s3#s-3-_object_key_format

Guide contributeur

Direction de recherche
Examinez la configuration actuelle du sink aws s3, en particulier les options key prefix et filename, et comprenez comment les modèles sont utilisés ailleurs dans Vector. Ensuite, implémentez une nouvelle option 'key' qui peut être templatisée à partir de l'événement, similaire à object key format de fluentd.
Stack technique
rust
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
RustGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70