elastic/logstash

Create 'exec' filter

Open

#2.528 geöffnet am 6. Feb. 2015

Auf GitHub ansehen
 (1 Kommentar) (1 Reaktion) (0 zugewiesene Personen)Ruby (3.496 Forks)batch import
help wantednew plugin

Repository-Metriken

Stars
 (14.197 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 2T 22h) (75 gemergte PRs in 30 T)

Beschreibung

Migrated from https://logstash.jira.com/browse/LOGSTASH-119:

Would be useful to pipe arbitrary fields through a command to modify them.

Here's an example that would anonymize hostnames or something.

filter {
  exec {
    command => "sed -re 's/\S+\.loggly\.com/anonymizedhost.example.com/'"
    fields => [ "@message", "hostname", "@source_host" ]
  }
}

The default would use only the message to parse

The protocol between logstash and the exec filter must be strict. Something like: for every line emitted, one line must be emitted as the 'new' line. If no changes are made, simply print it unmodified.

deleting the field can be done by printing a blank line

we exec the process once and use stdin for sending data, stdout for reading responses; if it dies, some retries should occur

Contributor Guide

Research-Richtung
Studiere vorhandene Logstash Filter Plugins (z.B. mutate, grok), um die Plugin Struktur und den Lebenszyklus zu verstehen. Implementiere einen neuen Filter, der einen untergeordneten Prozess erzeugt, Ereignisfeldwerte zeilenweise über stdin sendet, die Ausgabe zeilenweise über stdout liest und das Feld durch die Ausgabe ersetzt. Behandle Prozessfehler mit Wiederholungsversuchen. Stelle sicher, dass die Konfigurationssyntax (command, fields) korrekt geparst wird.
Tech Stack
ruby
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
RubyCommand line
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65