security_exception causes data to silently drop

Abierto
#32 0 comentarios 3 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
38/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
ruby

Línea de trabajo

No se indica ningún archivo fuente ni ninguna prueba. Empieza reproduciendo la configuración de Fluentd proporcionada y sigue cómo el plugin de OpenSearch gestiona una security_exception durante las escrituras. Se considera terminado cuando los mensajes fallidos ya no desaparecen silenciosamente y llegan a ERROR o a la etiqueta configurable solicitada, con el comportamiento verificado mediante esta reproducción.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement

(check apply)

  • read the contribution guideline
  • (optional) already reported 3rd party upstream repository or mailing list if you use k8s addon or helm charts.
Steps to replicate

When writing to an index the plugin does have permission to, the data writes correctly to OpenSearch.
When trying to write to an index the plugin does not have permission to, purposefully causing a security_exception, data appears to silently drop.

<system>
  workers 4
  root_dir /var/log/fluentd
</system>

<source>
  @type http
  port 8080
  bind 0.0.0.0
</source>

XXXFILTERSXXX

<match **>
    @id out_opensearch
    @type opensearch
    @log_level debug
    scheme https
    ssl_verify true
    host XXXHOSTXXX
    port XXXPORTXXX
    user XXXUSERXXX
    password XXXPASSWORDXXX
    target_index_key @target_index
    remove_keys @target_index
    compression_level default_compression
    log_os_400_reason true
    <buffer tag>
          flush_interval 1s
          retry_type periodic
          retry_forever true
          retry_wait 5s
    </buffer>
</match>

<label @FLUENT_LOG>
  <match **>
    @type stdout
  </match>
</label>

<label @ERROR>
  <match **>
    @type stdout
  </match>
</label>

Only messages seen output to stdout:
2022-03-17 14:11:31 +0000 [debug]: #0 [out_opensearch] Indexed (op = index), 6 security_exception
2022-03-17 14:11:31.901853800 +0000 fluent.debug: {"message":"[out_opensearch] Indexed (op = index), 6 security_exception"}

Expected Behavior or What you need to ask

Messages not uploaded due to security_exception should make their way to ERROR.
If not ERROR, perhaps a configurable label and optional re-tag?

Using Fluentd and OpenSearch plugin versions

OS version: Docker image built off ghcr.io/calyptia/fluentd:v1.14.5-debian-1.0
Bare Metal or within Docker or Kubernetes or others?: Docker image built off ghcr.io/calyptia/fluentd:v1.14.5-debian-1.0
Fluentd v1.0 or later: 1.14.5
OpenSearch plugin version: fluent-plugin-opensearch version 1.0.2

Lenguaje dominante
Ruby
Estrellas
64
Forks
25
Merge medio
1 d 16 h
PR fusionados (30 d)
8

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de fluent/fluent-plugin-opensearch

Todos los issues de fluent/fluent-plugin-opensearch

Issues similares

Más issues de Ruby

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.