vectordotdev/vector

Allow specifying the object key in the `aws_s3` sink

Open

#6929 aperta il 30 mar 2021

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Rust (2126 fork)batch import
good first issuesink: aws_s3type: enhancement

Metriche repository

Star
 (21.837 star)
Metriche merge PR
 (Merge medio 8g 16h) (110 PR mergiate in 30 g)

Descrizione

Requested by user migrating from fluentd.

Currently, we expose some configuration knobs for the object prefix + key for the aws_s3 sink:

  filename_append_uuid = true # optional, default
  filename_extension = "log" # optional, default
  filename_time_format = "%s" # optional, default
  key_prefix = "date=%F/" # optional, default

However there is no way to directly set the key. Ideally this could be templated from the event (like key = "{{ host }}"). This would affect internal partitioning of events across S3 requests. It is likely we'll still want to support formatting the timestamp as part of that, as well.

Ref: fluentd's s3 output: https://docs.fluentd.org/output/s3#s-3-_object_key_format

Guida contributor

Direzione di ricerca
Esamina la configurazione corrente del sink aws s3, in particolare le opzioni key prefix e filename, e comprendi come i template vengono utilizzati altrove in Vector. Quindi implementa una nuova opzione 'key' che può essere templatizzata dall'evento, simile all'object key format di fluentd.
Tech stack
rust
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
RustGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70