elastic/logstash

Create 'exec' filter

Open

#2528 aperta il 6 feb 2015

Vedi su GitHub
 (1 commento) (1 reazione) (0 assegnatari)Ruby (3496 fork)batch import
help wantednew plugin

Metriche repository

Star
 (14.197 star)
Metriche merge PR
 (Merge medio 2g 22h) (75 PR mergiate in 30 g)

Descrizione

Migrated from https://logstash.jira.com/browse/LOGSTASH-119:

Would be useful to pipe arbitrary fields through a command to modify them.

Here's an example that would anonymize hostnames or something.

filter {
  exec {
    command => "sed -re 's/\S+\.loggly\.com/anonymizedhost.example.com/'"
    fields => [ "@message", "hostname", "@source_host" ]
  }
}

The default would use only the message to parse

The protocol between logstash and the exec filter must be strict. Something like: for every line emitted, one line must be emitted as the 'new' line. If no changes are made, simply print it unmodified.

deleting the field can be done by printing a blank line

we exec the process once and use stdin for sending data, stdout for reading responses; if it dies, some retries should occur

Guida contributor

Direzione di ricerca
Studia i plugin filtro Logstash esistenti (es. mutate, grok) per comprendere la struttura e il ciclo di vita del plugin. Implementa un nuovo filtro che avvia un processo figlio, invia i valori dei campi dell'evento tramite stdin riga per riga, legge l'output da stdout riga per riga e sostituisce il campo con l'output. Gestisci gli errori del processo con tentativi. Assicurati che la sintassi di configurazione (command, fields) sia analizzata correttamente.
Tech stack
ruby
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
RubyCommand line
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65