Unable to use templates option in latest version of td-agent along with opensearch plugin.

Abierto
#91 1 comentario 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
30/100
Tipo de issue
Error
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
aws, ruby
Área
backend, search

Línea de trabajo

Reproduce el fallo con la configuración proporcionada de td-agent 4.4.2 y Fluentd 1.15.3, centrándote en la configuración templates y en las credenciales anidadas del endpoint. Compara la sintaxis documentada de templates con el comportamiento del plugin y verifica el resultado con una prueba de regresión específica; se considera terminado cuando templates funciona sin el ArgumentError por credenciales ausentes.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

bug
Steps to replicate

We are using the latest version of td-agent along with Opensearch from AWS but as soon as we put templates section in the config file following error message is thrown "2023-01-16 13:47:39 +0000 [error]: #0 fluent/log.rb:372:error: unexpected error error_class=ArgumentError error="expected both :access_key_id and :secret_access_key options""

Expected Behavior or What you need to ask

As per the documentation templates is supported. Can the below config file be reviewed and let us know if there is a mistake?
...

Config file
<match **.*******.UPLOAD>
  @type copy
  <store>
    @type opensearch
    index_name xx-xxxx-xxxxx-data
    type_name "_doc"
    logstash_format true
    logstash_prefix xx-xxxx-xxxxx-data
    logstash_dateformat %Y.%m
    template_overwrite true
    templates {"xxxxxxxxxxxxxx_template": "/opt/aws/custom/xxxxx_index_template.json"}
    include_tag_key false
    buffer_type file
    buffer_chunk_limit 2m
    buffer_queue_limit 1000
    buffer_path /var/log/td-agent/uploadreportsupesbuffer
    disable_retry_limit true
    flush_interval 60s
    retry_wait 10s
    id_key MessageId
    reload_connections false
    remove_keys MessageId
    <endpoint>
      url xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
      region us-east-1
      access_key_id xxxxxxxxxxxxxxxxxxxxxxxxxxxxx
      secret_access_key xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
	  </endpoint>
  </store>
</match>
Using Fluentd and OpenSearch plugin versions
  • OS version - Ubuntu 22.04
  • Bare Metal or within Docker or Kubernetes or others?
  • Fluentd v1.0 or later
    • td-agent 4.4.2 fluentd 1.15.3
  • OpenSearch plugin version
    • paste boot log of fluentd or td-agent
    • paste result of fluent-gem list, td-agent-gem list or your Gemfile.lock
  • OpenSearch version (optional)
  • OpenSearch template(s) (optional)
Lenguaje dominante
Ruby
Estrellas
64
Forks
25
Merge medio
1 d 16 h
PR fusionados (30 d)
8

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de fluent/fluent-plugin-opensearch

Todos los issues de fluent/fluent-plugin-opensearch

Issues similares

Más issues de Ruby

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.